ALTK-Evolve soll KI-Agenten aus ihren eigenen früheren Trajektorien lernen lassen, ohne Modellgewichte zu aktualisieren oder menschliche Annotationen zu benötigen. Laut einem Hugging-Face-Blogbeitrag erzielte ein kuratiertes Abrufverfahren bei gpt-oss-120b auf dem AppWorld-Benchmark 16,1 Prozentpunkte mehr Aufgabenerfolg bei 5 Prozent mehr Tokens.
Was die Methode macht
Nach Darstellung des Beitrags werden wiederverwendbare Verhaltensleitlinien aus vergangenen Trajektorien eines Agenten destilliert. Diese Leitlinien werden bei der Inferenz wieder in den Kontext eingespeist, statt das Modell weiterzutrainieren.
Damit zielt der Ansatz auf eine Form extern bereitgestellten, auf Erfahrung basierenden Gedächtnisses: Verbesserungen sollen durch die Auswahl und Bereitstellung von Informationen im Prompt-Kontext entstehen, nicht durch Änderungen an den Gewichten.
Die berichteten Benchmark-Ergebnisse
Die Auswertung erfolgte laut Beitrag auf AppWorld mit 585 mehrstufigen Aufgaben — 168 aus test_normal und 417 aus test_challenge — über neun simulierte Apps hinweg. Insgesamt sei der Ansatz mit acht Modellen getestet worden, von einem dichten 30B-Modell bis zu proprietären Frontier-Systemen.
Für gpt-oss-120b berichtet der Beitrag einen Zuwachs von 16,1 Prozentpunkten bei der Task Completion durch kuratierten Abruf, bei 5 Prozent mehr Tokens. Für DeepSeek-V3.2 wird ein Plus von 9,5 Prozentpunkten bei der Task Completion genannt, wenn das Modell seinen vollständigen selbst gewonnenen Leitliniensatz erhielt.
Der Beitrag leitet daraus keine universelle Gedächtnisstrategie ab. Vielmehr heißt es, starke Modelle mit Kapazitätsreserven profitierten vom vollständigen Leitliniensatz, schwächere Modelle von einem kompakten Kern kombiniert mit aufgabenspezifischem Abruf. Bei gesättigten Modellen seien keine messbaren Gewinne zu beobachten gewesen. GLM-5 sei in den Läufen der Autoren diesem letzten Muster zugeordnet worden.
Warum die Unterschiede relevant sind
Die Ergebnisse stellen die Annahme infrage, dass mehr Kontext oder ein größerer Erinnerungsspeicher für jeden Agenten automatisch nützlicher ist. Wenn sich die optimale Form der Bereitstellung nach Modell unterscheidet, müssten Entwickler Speichergröße und Retrieval-Strategie modellbezogen evaluieren.
Der direkte Vergleich im Beitrag betrifft dabei zwei Speicher-Konfigurationen, die auf demselben Leitliniensatz beruhen. Dieser Satz sei einmalig und ausschließlich aus dem Trainingssplit von AppWorld gewonnen worden; Testsplit-Daten seien nicht in seine Erstellung eingeflossen. Das begrenzt zumindest die im Beitrag beschriebene Gefahr, dass Testaufgaben direkt zum Aufbau des Gedächtnisses verwendet wurden.
Einordnung und Grenzen
Die Zahlen sind Ergebnisse eines einzelnen primären Quellenbeitrags und keine unabhängige Replikation. Sie belegen daher zunächst, was die Autoren in ihren eigenen AppWorld-Läufen berichten — nicht, dass die Methode bei anderen Benchmarks, Werkzeugumgebungen oder Produktionsagenten dieselben Effekte erzielt.
Die Autoren nennen zudem eine offene methodische Frage: Kontrollierte Experimente, die den Einfluss der Kontextfenstergröße isolieren, seien bislang nicht durchgeführt worden. Damit bleibt unklar, welcher Anteil der beobachteten Unterschiede auf die Inhalte und Auswahl der Leitlinien entfällt und welcher auf Eigenschaften des verfügbaren Kontextfensters zurückgehen könnte.
Auch die genannten Verbesserungen beziehen sich auf Task Completion in AppWorld. Aus den vorliegenden Angaben lässt sich nicht ableiten, wie sich die Methode auf Zuverlässigkeit, Kosten jenseits des berichteten Tokenanstiegs bei gpt-oss-120b oder Sicherheit in realen Anwendungen auswirkt.
Wie es weitergeht
Aussagekräftiger wären unabhängige Replikationen sowie kontrollierte Studien, welche Kontextfenstergröße, Umfang des Leitliniensatzes und Retrieval-Strategie getrennt variieren. Entscheidend wird zudem sein, ob die modellabhängigen Muster auf weiteren Aufgaben und in nicht simulierten Umgebungen bestehen bleiben.
Änderungsvermerk: Erstfassung auf Basis eines einzelnen Hugging-Face-Blogbeitrags; alle Resultate sind ausdrücklich als berichtete Autorenangaben eingeordnet.