KI als krasse Korrektorin

Eine Untersuchung der Universität Passau belegt erstmals wissenschaftlich, dass Künstliche Intelligenz die Prüfungsleistungen ähnlich präzise bewertet wie erfahrene Hochschuldozenten.

Die Ergebnisse wurden jetzt im Fachjournal „Scientific Reports“ veröffentlicht.

An der Universität Passau haben Forschende einen ungewöhnlichen Vergleich durchgeführt: Sie ließen volkswirtschaftliche Freitextantworten von Studenten parallel von Menschen und der KI ChatGPT bewerten. Das Resultat fiel deutlicher aus als erwartet.

Rangfolgen fast identisch

Bei der Erstellung von Ranglisten – welche Antwort die beste, zweitbeste oder schwächste ist – erreichte die KI nahezu dieselbe Genauigkeit wie die menschlichen Prüfer.

Das berichtet Wirtschaftswissenschaftlerin Deborah Voß, die gemeinsam mit Prof. Johann Graf Lambsdorff und dem Informatiker Abdullah Al Zubaer die Untersuchung durchführte.

Besonders bemerkenswert: ChatGPT zeigte keine Vorliebe für besonders lange Texte oder KI-generierte Inhalte. Lediglich bei der Punktevergabe erwies sich das Modell als großzügiger und vergab im Schnitt bis zu einer Note mehr als die menschlichen Korrektoren.

Methodischer Kniff bringt Klarheit

Die Bewertung von Freitextantworten gilt als besondere Herausforderung, da es keine eindeutig richtige Lösung gibt.

Die Passauer Forscher wählten deshalb einen besonderen Ansatz: Sie ersetzten in Prüfer-Teams jeweils eine Person durch ChatGPT und verglichen die Übereinstimmung mit der zweiten menschlichen Bewertung.

„In einigen Fällen erhöhte sich die Übereinstimmung sogar“, erklärt Prof. Lambsdorff. Das deute darauf hin, dass die KI teilweise präzisere Einschätzungen liefern könne als menschliche Prüfer.

Ergebnisse bei ungenauen Vorgaben

Ein weiterer Befund überraschte die Wissenschaftler: Selbst bei unpräzisen oder fehlerhaften Anweisungen blieb GPT-4 bemerkenswert stabil in seinen Bewertungen.

„Das zeigt, dass ein Einsatz in Korrekturprozessen durchaus denkbar ist“, so Informatiker Abdullah Al Zubaer.

Trotz der positiven Ergebnisse betonen die Forschenden, dass die Technologie den Menschen nicht ersetzen könne. „Musterlösungen und Nachprüfungen müssen in menschlicher Hand bleiben“, stellt Lambsdorff klar.

Klare Grenzen für den KI-Einsatz

Als Zweitkorrektorin zur unabhängigen Kontrolle könne KI aber wertvolle Unterstützung bieten.

Die Studie entstand im Rahmen des vom Bundesministerium für Bildung und Forschung geförderten Projekts DeepWrite. Darin untersuchen Wissenschaftler verschiedener Fachrichtungen an der Universität Passau den sinnvollen Einsatz von KI in der Hochschullehre.

Ein praktisches Ergebnis dieser Forschung ist das Tool ArgueNiser, das Studierenden beim Training von Argumentationsstrukturen hilft. „KI kann nicht nur Inhalte generieren, sondern auch das Lernen selbst unterstützen“, fasst Deborah Voß zusammen.

Bewertung im Tandem

Für Prof. Lambsdorff steht fest: Die Zukunft der Prüfungsbewertung liegt in der Kombination aus menschlicher Expertise und maschineller Präzision.

„KI kann helfen, Bewertungen fairer und transparenter zu machen – wenn wir sie richtig einsetzen.“

Die Veröffentlichung in Scientific Reports markiert einen wichtigen Schritt in der Debatte darüber, wie Bildungssysteme weltweit mit KI-gestützten Bewertungsverfahren umgehen sollten.

Sierks Media / © Foto: Andrea De Santis, Unsplash / Quelle: obx-news