Studierende mit Zugang zu ChatGPT (GPT-4o) erzielten in einem randomisierten Experiment an der Bocconi University auf einer fünfstufigen Bewertungsrubrik fast einen Punkt mehr als Vergleichsgruppen, wie OpenAI berichtet. Ihre Antworten enthielten demnach mehr Ideen, waren logisch klarer aufgebaut und ähnelten stärker Empfehlungen von Fachleuten.
Vier Gruppen, eine praxisnahe Aufgabe
An dem Experiment arbeiteten laut OpenAI mehr als 1.000 Erstsemester-Studierende der Bocconi University an Marketingempfehlungen für den universitätseigenen Merchandise-Shop. Forschende der Universität führten die Untersuchung in Zusammenarbeit mit OpenAI Economic Research durch.
Die Studierenden wurden nach Kurszeit zufällig einer von vier Gruppen zugeteilt: Zugang zu ChatGPT, Training zum kausalen Denken, beide Maßnahmen oder keine der beiden Maßnahmen. Dadurch lässt sich innerhalb dieses Versuches vergleichen, welche gemessenen Unterschiede mit den jeweiligen Interventionen verbunden waren.
Geschulte menschliche Bewerter beurteilten die Einreichungen anhand einer fünfstufigen Rubrik. Zusätzlich nutzten die Forschenden automatisierte Textanalyse: Sie erfasste Anzahl und Vielfalt der Ideen, Anzeichen kausalen Denkens sowie die Ähnlichkeit zu Einreichungen von drei Fachleuten.
ChatGPT-Zugang und Denkübung zeigten unterschiedliche Muster
Für die Gruppe mit ChatGPT-Zugang berichtet OpenAI einen Bewertungszuwachs von fast einem vollständigen Punkt auf der fünfstufigen Skala. Zudem hätten diese Studierenden mehr Ideen formuliert, klarere Logik gezeigt und Empfehlungen abgegeben, die denen der Fachleute ähnlicher waren.
Das Training zum kausalen Denken führte laut Bericht nicht zu höheren Rubrikwerten. Studierende, die die Übung absolvierten, erklärten jedoch klarer, weshalb ihre Ideen funktionieren könnten und unter welchen Bedingungen sie scheitern könnten.
Über die Gruppe hinweg produzierten Teilnehmende mit der Übung außerdem ein breiteres Spektrum an Ideen, die sich stärker von den Ideen ihrer Kommilitoninnen und Kommilitonen unterschieden. Jene, die sowohl ChatGPT-Zugang als auch die Übung erhielten, zeigten laut OpenAI die berichteten Vorteile beider Maßnahmen.
Warum das für den KI-Einsatz in der Lehre relevant ist
Die Ergebnisse unterscheiden zwischen mehreren Zielgrößen, statt „besseres Denken“ als eine einzige Messgröße zu behandeln: Die KI-Nutzung war im Bericht mit höheren Bewertungen, mehr Ideen und klarerer Logik verbunden; die Denkübung mit stärkerer Erklärung von Wirkzusammenhängen sowie abwechslungsreicheren und eigenständigeren Ideen.
Das ist ein wichtiger Kontrapunkt zu einer rein auf Bewertungspunkte ausgerichteten Lesart. In diesem Versuch ging die kausale Denkübung nicht mit höheren Rubriknoten einher, obwohl sie bei mehreren anderen analysierten Merkmalen Vorteile zeigte.
Die Befunde beziehen sich allerdings auf eine konkrete Kohorte, eine einzelne Aufgabenstellung und die verwendeten Bewertungs- und Textanalyseverfahren. Aus dem vorliegenden Material lässt sich nicht ableiten, ob sich die Resultate auf andere Hochschulen, Fächer, Aufgabenformate oder längerfristige Lernwirkungen übertragen lassen.
Wie es weitergeht
Für eine belastbarere Einordnung wären vollständige Methoden- und Ergebnisdaten nötig, insbesondere zu Gruppengrößen, statistischer Auswertung, genauen Interventionen und der Übertragbarkeit auf weitere Lernkontexte.
Änderungsvermerk: Erstfassung auf Basis eines OpenAI-News-Beitrags über ein randomisiertes Experiment an der Bocconi University.