Quelle est la difficulté d'une question ?

Chaque concepteur pédagogique créant des questions pour des exercices d'apprentissage adaptatif ou des tests ou examens fait face à la même incertitude : cette question semblera-t-elle facile ou difficile aux apprenants ? C'est étonnamment difficile à dire. Pour un expert du domaine qui connaît le sujet sur le bout des doigts, presque chaque question semble facile.

En conséquence, la difficulté est souvent mal évaluée. Une question peut paraître simple à son auteur tout en déroutant la plupart des apprenants. Et une question conçue pour être stimulante peut révéler sa réponse à travers sa formulation ou ses options de réponse.

Une règle, trois niveaux de difficulté

Prenez par exemple un protocole d'hygiène des mains que chaque infirmier apprend : quand et comment les mains doivent-elles être lavées à l'eau et au savon ? Voici trois façons de poser la question.

• Trop facile : Demandez ce qu'il faut faire et proposez quatre options : les laver à l'eau et au savon, les essuyer sur un uniforme, attendre la fin du service ou les laisser telles quelles. N'importe qui peut choisir la bonne réponse sans formation.
• Bien équilibré : Proposez plutôt de l'eau et du savon, une friction hydroalcoolique ou une lingette antiseptique. Les trois semblent raisonnables, les apprenants doivent donc connaître le protocole.
• Exigeant : Retirez les options et laissez les apprenants saisir la réponse. Ils doivent la rappeler de mémoire au lieu de la reconnaître dans une liste.

Ces trois options testent les mêmes connaissances ou compétences. La seule chose qui change est la façon dont la question est rédigée.

Pourquoi la bonne difficulté est essentielle

Une question, un scénario ou un dilemme trop facile ne vous en dit pas beaucoup sur ce que quelqu'un maîtrise. Une question difficile pour les mauvaises raisons, comme une formulation confuse, teste des compétences de lecture plutôt que des compétences métier. Dans les deux cas, les résultats ne reflètent plus ce que les apprenants maîtrisent réellement.

Cela importe encore plus dans Drillster, car notre technologie adaptative utilise chaque réponse pour décider ce que chaque apprenant doit pratiquer ensuite, et quand. Des questions bien calibrées donnent une image fiable de qui maîtrise déjà la matière et qui a encore besoin de s'entraîner.

Pourtant, tant que les apprenants n'ont pas répondu à une question, une situation ou un problème, le seul guide quant à sa difficulté est le jugement de l'auteur. Le Service de Calibration de la Difficulté de Drillster comble cet écart.

Comment fonctionne la calibration de la difficulté

Le Service de Calibration de la Difficulté prédit à quel point une question risque de paraître difficile avant même qu'un apprenant y ait répondu. Il examine chaque question sous six angles :

• Réflexion requise : L'apprenant doit-il mémoriser un fait, le comprendre ou l'appliquer dans une situation réaliste ?
• Mauvaises réponses crédibles : À quel point est-il difficile d'éliminer les options incorrectes ?
• Chances de deviner : Quelle est la probabilité d'une réponse au hasard réussie ? Une séquence en quatre étapes semble difficile à deviner, mais beaucoup moins quand le bon sens révèle la première étape.
• Informations à garder à l'esprit : Combien de détails l'apprenant doit-il combiner ?
• Indices dans la formulation : La question donne-t-elle sa réponse, par exemple parce que la bonne option est beaucoup plus longue que les autres ?
• Distinctions subtiles : Avec quelle précision l'apprenant doit-il distinguer des règles ou des significations similaires ?

Le Service de Calibration de la Difficulté combine des vérifications sur la structure de la question, telles que son format et le nombre d'options, avec une IA qui évalue la formulation et le sens dans le contexte de l'élément d'apprentissage et de son matériel source.

De l'intuition à la conception éclairée de questions

Pour chaque question, situation, dilemme ou problème, vous obtenez une prédiction de sa difficulté ressentie et pouvez voir quels facteurs la déterminent. Les défauts de rédaction courants sont signalés séparément, comme poser deux questions à la fois ou autoriser plus d'une réponse défendable. Toutes les informations vous seront présentées dans un rapport compréhensible.

Il est ainsi facile de repérer les questions trop faciles, trop difficiles ou difficiles pour les mauvaises raisons. Vous pouvez ensuite les corriger de manière ciblée : rendre les mauvaises réponses plus crédibles, supprimer un indice ou simplifier la formulation. Cela vous permet de rendre une question plus facile ou plus difficile sans changer ce qu'elle teste.

L'IA ne remplace pas l'expertise des concepteurs pédagogiques ou des experts métier. Elle leur offre un second regard avant l'existence de données d'apprenants, et à leurs côtés une fois celles-ci disponibles.

Intéressé par la Calibration de la Difficulté de vos questions ?

La Calibration de la Difficulté est disponible pour les clients Drillster qui souhaitent mieux comprendre la difficulté et la qualité de leurs ensembles de questions. Vous voulez savoir où vos questions pourraient être ajustées ? Contactez-nous à support@drillster.com (opens in new tab).