Ein neuer arXiv-Preprint stellt mit SharedSAE einen Ansatz vor, bei dem mehrere Sprachmodelle ein gemeinsames Wörterbuch eines Sparse Autoencoders (SAE) nutzen, während jedes Modell eigene Encoder-Decoder-Paare erhält. Nach Angaben der Autoren wurde das Verfahren auf vier Basissprachmodellen im Größenbereich von einer Milliarde Parametern getestet, die unterschiedlichen Modellfamilien und Tokenizern angehören.
Was der Ansatz verändert
Sparse Autoencoder werden in der Interpretierbarkeitsforschung genutzt, um Aktivierungen eines Modells in sparsame latente Merkmale zu zerlegen. Üblicherweise werden solche SAEs je Modell separat trainiert. SharedSAE setzt dagegen auf ein gemeinsames Merkmalswörterbuch über mehrere Modelle hinweg und kombiniert es mit modellindividuellen Encoder-Decoder-Komponenten.
Laut Preprint normalisiert das Verfahren nur die Auswahlwerte für Merkmale, nicht jedoch die Aktivierungsmagnituden. Zudem verwenden die Autoren ein „Model Dropout“ genanntes Verfahren für Inferenz mit einzelnen Modellen.
Berichtete Ergebnisse
Gegenüber dedizierten, also separat pro Modell trainierten SAEs, erreichte SharedSAE nach Angaben der Autoren 96,6 Prozent der mittleren erklärten Varianz. Das ist das zentrale Rekonstruktionsmaß, das im Dossier genannt wird.
Bei modellübergreifenden Vergleichen seien die Korrelationen der latenten Aktivierungen 1,8-mal so hoch wie bei separat trainierten SAEs, die erst nachträglich aufeinander ausgerichtet wurden. Falls sich dieses Ergebnis in weiteren Tests bestätigt, könnte ein gemeinsames Wörterbuch die Zuordnung ähnlicher latenter Merkmale zwischen Modellen erleichtern.
Übertragbarkeit auf weitere Modelle
Die Autoren schreiben außerdem, dass sich ein eingefrorenes SharedSAE-Wörterbuch auf neue Modelle anpassen lasse. Dabei solle eine Rekonstruktionsqualität nahe der von dedizierten SAEs erreicht werden, während dieselben latenten Beschreibungen weiterverwendet werden.
Die behauptete Übertragbarkeit ist für Interpretierbarkeitsarbeit relevant: Statt Merkmale für jedes Modell vollständig neu zu beschreiben, könnte ein einmal aufgebautes Beschreibungsinventar weitergenutzt werden. Dies ist jedoch eine aus den Autorenangaben abgeleitete mögliche Bedeutung, kein unabhängig bestätigter Effekt.
Einordnung und Grenzen
Die Resultate beruhen auf einem arXiv-Preprint in Version 1 und auf den im Abstract wiedergegebenen Angaben der Autoren. Das Dossier enthält keine unabhängige Replikation, keine externe Begutachtung und keine Details zu den einzelnen Modellnamen, Datensätzen oder Messprotokollen.
Damit ist offen, wie gut sich die Ergebnisse auf größere Modelle, andere Architekturen oder weitere Aufgaben übertragen lassen. Ebenso lässt sich aus den verfügbaren Informationen nicht beurteilen, wie sich Aufwand und Ressourcenbedarf von SharedSAE gegenüber getrennten SAEs verhalten.
Wie es weitergeht
Entscheidend werden detaillierte Experimente im vollständigen Preprint, unabhängige Replikationen und Tests über weitere Modellgrößen, Familien und Einsatzszenarien hinweg sein.
Änderungsvermerk: Erstmeldung auf Basis eines arXiv-Preprints und der darin im Abstract berichteten Resultate.