Hoe moeilijk is een vraag?

Iedere onderwijskundig ontwerper die vragen maakt voor adaptieve leeroefeningen of toetsen of examens staat voor dezelfde onzekerheid: zal deze vraag voor de deelnemer makkelijk of moeilijk aanvoelen? Het is verrassend lastig te bepalen. Voor een inhoudsdeskundige die de stof door en door kent, voelt bijna elke vraag eenvoudig aan.

Het gevolg is dat de moeilijkheidsgraad van een vraag verkeerd wordt ingeschat. Een vraag kan er voor de auteur eenvoudig uitzien en toch de meeste deelnemers doen struikelen. En een vraag die bedoeld is als uitdaging, kan het antwoord weggeven door de formulering of de antwoordopties.

Eén regel, drie moeilijkheidsniveaus

Neem bijvoorbeeld een handhygiëneprotocol dat elke verpleegkundige moet beheersen: wanneer en hoe moeten handen met water en zeep worden gewassen? Hier zijn drie manieren om daarnaar te vragen.

• Te makkelijk: Vraag wat te doen en bied vier opties aan: was ze met water en zeep, veeg ze af aan een uniform, wacht tot het einde van de dienst, of laat ze zoals ze zijn. Iedereen kan zonder training het juiste antwoord kiezen.
• Goed gebalanceerd: Bied in plaats daarvan water en zeep, alcoholisch desinfectiemiddel of een antiseptisch doekje aan. Alle drie klinken ze aannemelijk, dus deelnemers moeten de regel kennen.
• Uitdagend: Verwijder de opties en laat de deelnemer het antwoord zelf typen. De deelnemer moet het juiste antwoord nu actief uit zijn geheugen ophalen in plaats van het te herkennen in een lijst.

Alle drie testen deze vragen en antwoordopties dezelfde kennis. Het enige wat verandert is hoe de vraag ontworpen is.

Waarom de juiste moeilijkheidsgraad ertoe doet

Een vraag, scenario of dilemma dat te makkelijk is, vertelt je niet veel over wat iemand beheerst. Een vraag die om de verkeerde redenen moeilijk is, zoals een verwarrende formulering, toetst eerder leesvaardigheid dan competenties. In beide gevallen laten de resultaten niet meer zien wat deelnemers werkelijk beheersen.

Dit is nog belangrijker in Drillster, omdat onze adaptieve technologie elk antwoord gebruikt om te bepalen wat elke deelnemer vervolgens moet oefenen, en wanneer. Goed gekalibreerde vragen geven een betrouwbaar beeld van wie de stof beheerst en wie nog moet oefenen.

Toch is, totdat deelnemers een vraag, situatie of probleem hebben beantwoord, het oordeel van de auteur de enige leidraad voor de moeilijkheidsgraad. De Drillster Difficulty Calibration service dicht die kloof.

Hoe Difficulty Calibration werkt

Difficulty Calibration voorspelt hoe moeilijk een vraag waarschijnlijk zal aanvoelen voordat een deelnemer deze heeft beantwoord. Het bekijkt elke vraag vanuit zes invalshoeken:

• Vereist denkvermogen: Moet de deelnemer informatie onthouden, begrijpen of juist toepassen in een relevante situatie?
• Geloofwaardige afleiders: Hoe moeilijk is het om onjuiste opties uit te sluiten?
• Gokkans: Hoe waarschijnlijk is een antwoord dat toevallig goed gegokt is? Een reeks van vier stappen lijkt moeilijk te gokken, maar veel minder wanneer gezond verstand de eerste stap al weggeeft.
• Informatie om te onthouden: Hoeveel details moet de deelnemer combineren?
• Aanwijzingen in de formulering: Geeft de vraag zijn antwoord weg, bijvoorbeeld omdat de juiste optie veel langer is dan de andere?
• Fijne nuanceringen: Hoe nauwkeurig moet de deelnemer vergelijkbare regels of betekenissen van elkaar onderscheiden?

Difficulty Calibration combineert controles op de structuur van de vraag, zoals de opzet en het aantal opties, met AI die de formulering en betekenis beoordeelt in de context van het leerelement en het bronmateriaal.

Van intuïtie naar doordacht vragen ontwerpen

Voor elke vraag, situatie, dilemma of probleem geeft onze Difficulty Calibration Service je een voorspelling van hoe moeilijk deze zal aanvoelen en zie je welke factoren daarvoor bepalend zijn. Veel voorkomende schrijffouten worden afzonderlijk gesignaleerd, zoals het vragen naar twee dingen tegelijk of het toestaan van meer dan één verdedigbaar antwoord. Alle informatie wordt aan je gepresenteerd in een begrijpelijk rapport.

Dat maakt het eenvoudig om vragen op te sporen die te makkelijk, te moeilijk of om de verkeerde redenen moeilijk zijn. Je kunt ze vervolgens gericht aanpassen: maak de onjuiste antwoorden geloofwaardiger, verwijder een aanwijzing of vereenvoudig de formulering. Zo maak je een vraag makkelijker of moeilijker zonder te veranderen wat deze toetst. Ook hier kan de Drillster Question Crafter je helpen.

AI vervangt niet de expertise van onderwijskundige ontwerpers of inhoudsdeskundigen. Het geeft hen een tweede paar ogen.

Interesse in Difficulty Calibration?

Difficulty Calibration is beschikbaar voor klanten die meer inzicht willen in de moeilijkheidsgraad en kwaliteit van hun vragen-sets. Wil je weten waar jouw vragen kunnen worden afgestemd? Neem contact met ons op via support@drillster.com (opens in new tab).