Google Research hat das Science One Framework vorgestellt, einen nicht produktionsreifen Forschungsprototypen für autonome KI-Forschung. Im Zentrum steht „Chain-of-Evidence“ (CoE): Jede Behauptung in einem Forschungsartefakt soll mit einer dokumentierten Evidenzkette verbunden sein, die diese Behauptung tatsächlich trägt.
Überprüfbarkeit als Vorgabe für KI-generierte Forschung
Nach Darstellung von Google ist CoE ein Verifizierbarkeits-Framework für KI-gestützte Forschung. Es verlangt zwei Dinge: Vollständigkeit, also eine dokumentierte Evidenzkette für jede Behauptung, sowie Korrektheit, also dass die jeweilige Kette die zugeordnete Aussage stützt.
Das Science One Framework baut laut Google dafür über die Semantic-Scholar-API einen Zitationsgraphen auf und verarbeitet pro Thema bis zu 100 Volltext-PDFs. Der Ansatz zielt damit nicht nur auf das Erzeugen eines Forschungstextes, sondern auch auf die nachträgliche nachvollziehbare Verbindung von Aussage und Beleg.
Das ist relevant, weil überprüfbare Quellen, Resultate und die Übereinstimmung zwischen Methode, Code und Text zentrale Anforderungen an wissenschaftliche Arbeit sind. Science One ist jedoch ausdrücklich ein experimenteller Forschungsprototyp und keine produktionsreife Software.
CoE Audit prüft vier Integritätsaspekte
Zusätzlich stellte Google „CoE Audit“ vor, ein automatisiertes Protokoll zur Bewertung der Integrität KI-generierter Papers. Es führt laut Beitrag vier strikte Prüfungen über die erzeugten Artefakte – Paper, Lösung, Code und Referenzen – aus: Score-Verifikation, Prüfung auf Spezifikationsverletzungen, Referenzverifikation sowie Abgleich von Methode und Code.
Google wendete CoE Audit nach eigenen Angaben auf 75 Papers aus fünf Systemoptimierungsaufgaben des Benchmarks Automated Design of Research Systems (ADRS) an: Prism, Cloudcast, EPLB, LLM-SQL und Transaktionsplanung.
Der Umfang der Auswertung ist damit auf diese Aufgaben und die dort erzeugten Papers begrenzt. Aus den vorliegenden Angaben geht nicht hervor, ob das Verfahren außerhalb dieses Settings oder durch unabhängige Stellen validiert wurde.
Von Google berichtete Vergleichsergebnisse
Google berichtet, Basissysteme hätten in dieser Auswertung bis zu 21 Prozent ihrer Referenzen halluziniert und Code und Text häufig nicht korrekt aufeinander abgestimmt. Für Science One meldet das Unternehmen dagegen keine Phantomreferenzen; jede Referenz habe auf ein reales, abrufbares Paper verwiesen. Zudem seien die Scores vollständig verifizierbar gewesen.
Beim ADRS-Benchmark soll Science One in allen fünf Aufgaben die Leistung menschlicher Expertinnen und Experten erreicht oder übertroffen haben. Bei Cloudcast und EPLB habe das System laut Google den besten Gesamtscore aller verglichenen Systeme erzielt.
Diese Kennzahlen sind Ergebnisse aus einem Google-Forschungsbeitrag und nicht unabhängig bestätigt. Sie belegen daher zunächst die Resultate innerhalb der beschriebenen Evaluation, nicht die allgemeine Leistungsfähigkeit autonomer KI-Forschungssysteme.
Einordnung: Der Anspruch ist nachvollziehbar, die Reichweite bleibt offen
Der zentrale Unterschied des vorgeschlagenen Ansatzes liegt im Fokus auf überprüfbaren Forschungsartefakten: Nicht allein ein überzeugend formulierter Bericht, sondern die belegbare Zuordnung einzelner Aussagen zu Quellen, Code und Ergebnissen soll bewertet werden.
Ob diese Evidenzketten in komplexeren wissenschaftlichen Bereichen ausreichend sind, wie zuverlässig die automatisierten Prüfungen selbst arbeiten und ob Science One Ergebnisse über die getesteten ADRS-Aufgaben hinaus reproduziert, bleibt anhand der verfügbaren Quelle offen. Ebenso liegen keine Angaben zu einer Produktveröffentlichung vor.
Wie es weitergeht
Entscheidend werden unabhängige Tests von Science One und CoE Audit, Replikationen der Benchmark-Ergebnisse sowie Nachweise sein, dass Evidenzketten und automatische Integritätsprüfungen auch außerhalb der beschriebenen Aufgaben zuverlässig funktionieren.
Änderungsvermerk: Erstfassung auf Grundlage eines einzelnen Google-Research-Blogbeitrags. Unternehmensangaben und unabhängige offene Fragen sind getrennt ausgewiesen.