Ein neu angekündigtes arXiv-Preprint beschreibt Experimente, die bei hybriden Sprachmodellen den KV-Cache der Attention und den rekurrenten Zustand getrennt manipulieren. Die Autoren berichten für Qwen3.5 und Falcon-H1 eine deutliche funktionale Aufteilung: Exakter Abruf blieb vor allem über Attention erhalten; Ausgabesprache und Persona überdauerten dagegen vor allem im rekurrenten Zustand.
Zwei Eingriffe auf Cache-Ebene
Die Arbeit mit der Kennung arXiv:2609.04434v1 führt zwei Verfahren ein: „Split-Prefill“ und „State-Swap“. Bei Split-Prefill wird nach einem vorverarbeiteten Kontext entweder nur der KV-Cache oder nur der rekurrente Zustand behalten, bevor das Modell eine Antwort erzeugt.
Beim State-Swap wird der KV-Cache eines Kontexts mit dem rekurrenten Zustand eines anderen Kontexts in einem einzelnen Forward Pass kombiniert. Damit soll überprüft werden, welcher der beiden Zustände welche Aspekte der resultierenden Antwort trägt.
Berichtete Resultate
Nach Angaben der Autoren überlebte exakter Abruf nur über Attention: Dort erreichte er 64 bis 98 Prozent der vollständigen Genauigkeit. Über den rekurrenten Pfad brach diese Abrufleistung dem Bericht zufolge auf null ein.
Bei Ausgabesprache und Persona zeigte sich das umgekehrte Muster. Die Sprache blieb über Rekurrenz zu 70 bis 80 Prozent erhalten, während die Leistung mit ausschließlich KV-Cache auf rund ein Prozent Sprachgenauigkeit fiel. Für Persona berichten die Autoren ebenfalls ein Überdauern über Rekurrenz, mit einem Faktor von drei bis fünf gegenüber dem jeweiligen Vergleichswert.
Die State-Swap-Experimente ordnen den Inhalt der Antwort dem KV-Anteil und die Sprache der Antwort dem rekurrenten Anteil zu. Zusätzlich berichten die Autoren, dass rekurrente-only Generierung Wörter akzeptieren könne, die nicht im Kontext vorkamen, aber semantische oder teilweise Überschneidungen mit gesehenen Einträgen aufwiesen.
Warum das relevant ist
Hybridmodelle verbinden Attention-basierte Komponenten mit rekurrenten Zuständen. Die beschriebenen Eingriffe zielen darauf, die jeweiligen Beiträge beider Kanäle nicht nur anhand der Gesamtausgabe, sondern durch getrenntes Beibehalten und Austauschen ihrer Zustände zu untersuchen.
Die Ergebnisse sind zunächst auf die zwei genannten Modellfamilien und die in dem Preprint verwendeten Aufgaben begrenzt. Sie belegen auf Grundlage der vorliegenden Zusammenfassung weder, dass dieselbe Aufteilung für andere hybride Architekturen gilt, noch dass sie sich auf alle Arten von Schlussfolgern, Langkontext-Verarbeitung oder Modellverhalten übertragen lässt.
Einordnung und nächste Schritte
Bei der Arbeit handelt es sich um ein neu angekündigtes Preprint und nicht um eine im Dossier dokumentierte unabhängige Replikation. Die berichteten Befunde sind daher als Ergebnisse der Autoren zu verstehen.
Für die weitere Bewertung wären insbesondere Tests auf zusätzlichen Modellarchitekturen, Aufgaben und Kontexttypen relevant. Das vorliegende Material enthält keine Angaben zu solchen Replikationen oder zu einer externen Begutachtung.
Wie es weitergeht
Entscheidend wird sein, ob die beschriebenen Trennungen zwischen exaktem Abruf, Sprache und Persona in weiteren Modellfamilien und unter unabhängigen Tests reproduziert werden.
Änderungsvermerk: Erstfassung auf Grundlage eines arXiv-RSS-Eintrags und der darin wiedergegebenen Aussagen zum Preprint.