Google Research hat mit „Knowledge Profiling“ einen Ansatz vorgestellt, der bei großen Sprachmodellen (LLMs) zwischen dem Enkodieren eines Fakts und dessen unmittelbarem Abruf unterscheidet. In der eigenen Auswertung waren bei Gemini-3-Pro und GPT-5 nach Angaben des Unternehmens 95 bis 98 Prozent der getesteten Fakten enkodiert; direkt abrufen konnten die Modelle dennoch 26 bis 34 Prozent dieser Fakten nicht.
Was WikiProfile misst
Die Analyse stützt sich auf WikiProfile, einen Benchmark mit 2.150 aus Wikipedia abgeleiteten Fakten. Jedem Fakt sind zehn Fragen zugeordnet, die laut Google Enkodierung, Abruf und Wiedererkennen prüfen sollen.
Google testete 13 LLMs jeweils mit und ohne „Thinking“. Die Antworten wurden automatisiert durch prompt-basierte LLM-Bewerter bewertet; nach Angaben des Blogposts entstanden dabei rund 4,5 Millionen Antworten.
Der Benchmark wurde nach Darstellung von Google in einer vollständig automatisierten Pipeline erstellt, die ein gepromptetes Gemini-2.5-Pro mit Thinking einsetzte. Das ist ein wichtiger methodischer Kontext: Sowohl die Erzeugung des Benchmarks als auch die Bewertung der Antworten beruhen damit zumindest teilweise auf LLMs.
Enkodiert ist nicht gleich direkt verfügbar
Der zentrale Befund des Blogposts ist eine Differenz zwischen intern vorhandenem und auf Anhieb abrufbarem Wissen. Google bezeichnet diesen Unterschied als Abrufproblem: Ein Modell könne einen Fakt nach den verwendeten Tests enkodiert haben, ihn aber bei einer direkten Frage nicht liefern.
Für Gemini-3-Pro und GPT-5 nennt Google eine Enkodierungsquote von 95 bis 98 Prozent der geprüften Fakten. Gleichzeitig verfehlten die Modelle ohne Thinking den direkten Abruf bei 26 bis 34 Prozent der Fakten. Der Befund betrifft die getesteten Wikipedia-abgeleiteten Fakten und die von Google gewählte Messmethode; aus den vorliegenden Angaben folgt keine allgemeine Fehlerquote für alle Fakten oder alle Einsatzsituationen.
Thinking verbessert den Abruf, beseitigt die Lücke aber nicht
Bei für Thinking optimierten Modellen konnte Thinking laut Google ungefähr 40 bis 65 Prozent jener Fakten wieder zugänglich machen, die enkodiert waren, aber nicht direkt gewusst wurden. Bei Fakten, die nach der Messung nicht enkodiert waren, habe Thinking deutlich weniger geholfen.
Auch mit Thinking blieben bei Gemini-3-Pro und GPT-5 nach Unternehmensangaben 11 bis 12 Prozent der getesteten Fakten erfolglos. Das deutet innerhalb dieser Evaluation darauf hin, dass längeres Schlussfolgern oder zusätzliche Rechenschritte Abrufbarrieren teilweise überwinden können, fehlendes Wissen jedoch nicht in gleicher Weise ausgleichen.
Warum der Befund für Faktualitätsmessungen relevant ist
Die vorgeschlagene Trennung von Enkodierung, Abruf und Wiedererkennen verschiebt den Fokus der Evaluation: Eine falsche oder ausbleibende direkte Antwort muss nach diesem Ansatz nicht zwangsläufig bedeuten, dass das Modell den Fakt im verwendeten Sinne nicht repräsentiert. Umgekehrt ist Enkodierung allein keine Garantie für eine verlässlich abrufbare Antwort.
Für Anwender ändert der Bericht jedoch nichts daran, dass Antworten überprüft werden sollten. Entscheidend ist in praktischen Anwendungen, ob ein Modell den korrekten Fakt in der konkreten Abfrage liefert. WikiProfile liefert zunächst einen Forschungsvorschlag und Ergebnisse aus einer einzelnen, von Google veröffentlichten Evaluation, nicht den Nachweis einer umfassenden Lösung für faktische Zuverlässigkeit.
Wie es weitergeht
Relevant wäre, ob WikiProfile und das Knowledge-Profiling-Verfahren unabhängig geprüft und auf weitere Modelle, Faktensammlungen sowie Bewertungsmethoden angewandt werden. Ebenso bleibt zu beobachten, ob Modellanbieter die Trennung von gespeichertem und direkt abrufbarem Wissen in künftigen Faktualitätstests übernehmen.
Änderungsvermerk: Erstfassung auf Basis eines Google-Research-Blogposts. Die Resultate werden ausdrücklich als Unternehmensangaben und als Ergebnisse der konkreten Evaluation eingeordnet.