L'IA comme correcteur impitoyable

Une étude de l'Université de Passau apporte la première preuve scientifique que Intelligence artificielle Les résultats aux examens ont été évalués avec une précision comparable à celle des professeurs d'université expérimentés.

Les résultats ont été publiés dans la revue « Scientific Reports ».

Des chercheurs de l'Université de Passau ont mené une expérience comparative inédite : les réponses libres d'étudiants à des questions économiques ont été évaluées simultanément par des humains et par l'IA ChatGPT. Le résultat a été plus marqué que prévu.

Classements presque identiques

Lors de l'établissement des classements – déterminant quelle réponse est la meilleure, la deuxième meilleure ou la plus faible – l'IA a atteint une précision presque identique à celle des examinateurs humains.

Ces résultats ont été rapportés par l'économiste Deborah Voß, qui a mené l'étude en collaboration avec le professeur Johann Graf Lambsdorff et l'informaticien Abdullah Al Zubaer.

Fait particulièrement remarquable : ChatGPT n’a montré aucune préférence pour les textes très longs ou le contenu généré par l’IA. C’est uniquement dans l’attribution des points que le modèle s’est montré plus généreux, accordant en moyenne une note supérieure à celle des évaluateurs humains.

Une astuce méthodologique apporte de la clarté

L'évaluation des réponses libres est considérée comme un défi particulier, car il n'existe pas de solution unique correcte.

Les chercheurs de Passau ont donc opté pour une approche particulière : au sein des équipes d’évaluation, ils ont remplacé une personne par ChatGPT et comparé la concordance avec la seconde évaluation humaine.

« Dans certains cas, le taux de concordance a même augmenté », explique le professeur Lambsdorff. Cela laisse penser que l’IA peut parfois fournir des évaluations plus précises que les évaluateurs humains.

Résultats avec des spécifications imprécises

Une autre découverte a surpris les scientifiques : même avec des instructions imprécises ou erronées, GPT-4 est resté remarquablement stable dans ses évaluations.

« Cela montre que son utilisation dans les processus de correction est tout à fait envisageable », a déclaré l'informaticien Abdullah Al Zubaer.

Malgré ces résultats positifs, les chercheurs insistent sur le fait que la technologie ne peut remplacer l'humain. « La modélisation et sa vérification doivent rester entre les mains de l'humain », précise Lambsdorff.

Des limites claires à l'utilisation de l'IA

Toutefois, l'IA peut offrir un soutien précieux en tant que second examinateur pour un contrôle indépendant.

Cette étude a été menée dans le cadre du projet DeepWrite, financé par le ministère fédéral de l'Éducation et de la Recherche. Dans ce projet, des chercheurs de différentes disciplines de l'Université de Passau étudient l'utilisation efficace de l'intelligence artificielle dans l'enseignement supérieur.

L'un des résultats concrets de cette recherche est l'outil ArgueNiser, qui aide les étudiants à s'entraîner aux structures argumentatives. « L'IA peut non seulement générer du contenu, mais aussi soutenir le processus d'apprentissage lui-même », résume Deborah Voß.

Évaluation en tandem

Le professeur Lambsdorff en est certain : l'avenir de l'évaluation des examens réside dans la combinaison de l'expertise humaine et de la précision des machines.

« L’IA peut contribuer à rendre les évaluations plus justes et plus transparentes – si nous l’utilisons correctement. »

La publication dans Scientific Reports marque une étape importante dans le débat sur la manière dont les systèmes éducatifs du monde entier devraient gérer les méthodes d'évaluation assistées par l'IA.

Sierks Media / © Photo : Andrea De Santis, Unsplash / Source : obx-news