Google DeepMind hat einen Pilotversuch für eine doppelblinde Bewertung eines proprietären KI-Modells der Frontier-Klasse angekündigt. Dabei soll ein Gemini-Flash-Lite-Modell gegen vertrauliche Benchmarks getestet werden, ohne dass die Prüfer die Modellgewichte sehen oder Google die Testprompts der Prüfer einsehen kann.
Abgeschirmte Tests für Modell und Benchmark
Laut Google DeepMind läuft die Auswertung in einer datenschutzwahrenden Umgebung auf Basis von Confidential Space aus dem Angebot Confidential Computing von Google Cloud. Das Verfahren soll kryptografisch verifizieren, dass die externen Evaluierungsdaten bei deren Eigentümern bleiben und das proprietäre Modell ebenfalls geschützt bleibt.
Die angekündigte Konstruktion soll externe Tests in einer kryptografischen Umgebung einschließen. Dadurch sollen die Evaluierungen nicht später von Modellen genutzt werden können, um ihre Leistung vor einem Test zu optimieren. Google DeepMind beschreibt dies als Maßnahme zur Steigerung der Integrität von Bewertungen.
Partner im Pilotprojekt
An dem Pilotprojekt beteiligt Google DeepMind nach eigenen Angaben das Singapore AI Safety Institute, OpenMined, AVERI und MLCommons. Die Mitteilung präzisiert nicht, welche Aufgaben die einzelnen Partner übernehmen, welche Benchmarks konkret eingesetzt werden oder nach welchen Kriterien das Modell bewertet wird.
Google DeepMind bezeichnet den Ansatz als weltweit erste doppelblinde Evaluierung eines proprietären KI-Modells der Frontier-Klasse. Diese Einordnung ist eine Eigenbeschreibung des Unternehmens; im vorliegenden Material gibt es keine unabhängige Bestätigung des Neuheitsanspruchs.
Warum das relevant ist
Die Ankündigung zielt auf einen Zielkonflikt bei externen Modelltests: Anbieter wollen proprietäre Modelle und ihre Gewichte schützen, während unabhängige Evaluatoren ihre Testdaten und Prompts vertraulich halten wollen. Der Pilot soll beide Seiten voneinander abschirmen und dennoch eine Auswertung ermöglichen.
Ob das Verfahren die behauptete höhere Evaluierungsintegrität tatsächlich liefert, lässt sich aus der Ankündigung noch nicht beurteilen. Es handelt sich um einen Pilotversuch, nicht um veröffentlichte Testergebnisse oder eine bereits etablierte Bewertungsmethode.
Was offen bleibt
Unklar sind unter anderem der Zeitpunkt und Umfang des Piloten, die Art der vertraulichen Benchmarks, die konkreten Sicherheitsprüfungen der technischen Umgebung sowie die Veröffentlichung und Überprüfbarkeit der Resultate. Ebenfalls nicht genannt werden Kriterien dafür, wann der Ansatz über den Pilotstatus hinaus eingesetzt werden soll.
Google DeepMind erklärt, der Pilot solle einen neuen Ansatz für Modellaufsicht erproben und der Branche helfen, sicherere, zuverlässigere und breiter akzeptierte KI-Systeme zu entwickeln. Ob die beteiligten Organisationen die Methode anschließend breiter übernehmen, ist bislang offen.
Wie es weitergeht
Entscheidend wird sein, ob der Pilot nachvollziehbare Ergebnisse, technische Details zur Absicherung und eine überprüfbare Beschreibung der Rollen von Google DeepMind und den externen Partnern liefert.
Änderungsvermerk: Erstfassung auf Basis einer primären Ankündigung von Google DeepMind vom 27. August 2026.