نظرية الاستجابة للفقرة (IRT): ما تقيسه وما تتطلبه

لماذا لا يكفي معدل النجاح الخام

لا يقول معدل النجاح الإجمالي لسؤال شيئاً عن جودته: فقد يكون سيئ الصياغة، أو أسهل من أن يميّز بين المستويات، أو نُجح فيه بالتخمين. وقد يسلك سؤالان بمعدل نجاح 60٪ سلوكين متعاكسين تبعاً لهوية من نجح فيهما.

المعايير الثلاثة

تحدّد الصعوبةُ مستوى الكفاءة اللازم للجواب الصحيح. وتقيس القدرةُ التمييزية مدى فصل الفقرة بين المترشحين الأقوياء والضعفاء — وهي المعيار الأنفع عملياً. أما الثالث، أي التخمين الزائف، فيمثّل النجاح بالصدفة، ويظهر خصوصاً في الأسئلة متعددة الاختيار ذات البدائل القليلة.

ما تتطلبه IRT قبل أن تنتج أي شيء

تفترض المعايرة الموثوقة مئات الأجوبة لكل فقرة، وظروف اجتياز متقاربة، ومن يستطيع الحكم على مدى ملاءمة النموذج للمعطيات. وفي فوج من ثلاثين طالباً تكون المعايير المقدَّرة مجرد ضجيج. والمزوّد الذي يعلن «إعادة معايرة آلية بعد كل دورة» إنما يبيع في الغالب رقماً غير مستقر.

ما توفّره Educati وما لا توفّره

لا تحسب Educati أي معيار من معايير IRT ولا تعلن عن محرك قياس نفسي. تصحّح المنصة الأسئلة متعددة الاختيار آلياً، وتسجّل النتائج حسب السؤال وحسب الطالب، وتوحّد كل نقطة على سلّم 20 المعتمد بالمغرب. والفريق الراغب في تحليل IRT ينطلق من هذه النتائج ويعالجها في أداته الإحصائية الخاصة.

مراجعة مفيدة للفقرات دون محرك

ابحثوا أولاً عن الفقرات التي يخطئ فيها أفضل المترشحين أكثر من غيرهم: فذلك يعود دائماً تقريباً إلى خلل في الصياغة أو إلى مفتاح جواب خاطئ. ثم عن الفقرات التي ينجح فيها الجميع، فهي لا تحمل أي معلومة. ولا تحتاج هذه المراجعة إلى نموذج ولا إلى إحصائي، وهي تصحّح معظم عيوب بنك الأسئلة.