Das Umgehen des letzten Encoder-Blocks führte bei zwei unabhängig trainierten Conformer-Large-Systemen zur automatischen Spracherkennung auf nahezu jeder untersuchten Äußerung zu einer abweichenden Ausgabe. Mittlere Encoder-Blöcke zu umgehen, hatte laut einem neuen arXiv-Preprint dagegen wenig Einfluss.
Untersucht wurden zwei Modellvarianten
Die Arbeit „The Anatomy of an ASR Hallucination“ untersucht einen CTC- und einen RNN-T-Spracherkenner auf Basis von Conformer-Large. Die beiden Modelle wurden unabhängig trainiert, schreiben die Autoren.
Getestet wurden die Systeme unter Umwelteinflüssen sowie bei Verschiebungen zwischen Sprecher- und Hintergrundbedingungen. Die Forschenden griffen gezielt in einzelne Encoder-Stufen ein, indem sie diese umgingen.
Die letzte Stufe markiert laut Studie einen Funktionsübergang
In beiden Modellen sei die letzte Encoder-Stufe eine kritische Grenze gewesen: Wurde der finale Block umgangen, trat auf beinahe jeder Äußerung eine Divergenz auf. Das Umgehen mittlerer Blöcke habe hingegen nur geringe Auswirkungen gezeigt.
An derselben letzten Stufe würden die Repräsentationen kompakter. Außerdem werde Text für den trainierten Decoder lesbar, und Graphem-Informationen würden explizit. Das legt innerhalb der untersuchten Architektur nahe, dass diese Stufe für die Anbindung der Ausgabe an das Eingangssignal besonders wichtig ist.
Kein Nachweis für frei erfundene, flüssige Transkripte
Die Intervention erzeugte nach Angaben der Autoren keine flüssige Fabrication, sondern verstümmelte oder repetitive Ausgaben. Das ist ein wichtiger Vorbehalt: Das Experiment bildet damit nicht unmittelbar den gesamten Fall natürlich auftretender ASR-Halluzinationen nach.
Die Autoren beschreiben ihr Ergebnis ausdrücklich als mechanistische Vorbedingung für Halluzinationen – das Versagen, ausreichend geerdete Ausgaben zu erzeugen. Es sei keine vollständige Erklärung dafür, wie Halluzinationen in realen Spracherkennungssystemen entstehen.
Einordnung und Grenzen
Die Befunde betreffen zwei konkrete, wenn auch unterschiedlich dekodierte Conformer-Large-Modelle: eines mit CTC und eines mit RNN-T. Daraus folgt nicht automatisch, dass sich andere Architekturen, Trainingsverfahren oder Produktionssysteme gleich verhalten.
Auch aus den vorliegenden Angaben geht nicht hervor, wie häufig natürlich auftretende Halluzinationen unter den getesteten Verschlechterungen und Verteilungsverschiebungen sind oder ob ein Schutzmechanismus aus den Ergebnissen abgeleitet und praktisch validiert wurde. Als Preprint ist die Arbeit zudem im bereitgestellten Material nicht als begutachtete Veröffentlichung ausgewiesen.
Wie es weitergeht
Nächste Schritte wären Replikationen in weiteren ASR-Architekturen und Tests, die die gezielte Block-Intervention mit natürlich auftretenden Halluzinationen unter realistischen Störungen vergleichen.
Änderungsvermerk: Neuer Artikel auf Basis eines einzelnen arXiv-Preprints über Encoder-Interventionen in zwei Conformer-Large-ASR-Modellen.