Ein Hugging-Face-Blogbeitrag berichtet, dass sich der IFStruct-Wert von Liquid AIs LFM2.5-350M nach einem kurzen GRPO-Feintuning in der lokalen llama.cpp-/BF16-Auswertung des Autors von 22,6 auf 29,7 Prozent erhöhte. Der Lauf nutzte laut Beitrag rund 500 Trainingsbeispiele und 100 Schritte.
Workflow mit LoRA und GRPO
Der Leitfaden beschreibt die auf strukturierte Ausgaben ausgerichtete Feinabstimmung mit GRPO und LoRA. Dabei werden nach Angaben des Beitrags rund sechs Millionen Parameter trainiert, entsprechend etwa 1,66 Prozent des Modells.
Als Trainingsdaten verwendet der Workflow ungefähr 500 Beispiele aus „nvidia/Nemotron-RL-instruction_following-structured_outputs“. Diese verbinden jeweils einen Prompt mit einem Ziel-JSON-Schema und einer erwarteten Feldanzahl.
Der Trainingslauf ist für 100 Schritte und acht Generierungen je Prompt-Gruppe konfiguriert. Laut Blog ist diese Konfiguration auf eine GPU mit 16 GB Speicher zugeschnitten.
Gemeldete Ergebnisse und Vergleich
Vor dem Fine-Tuning maß der Autor in seinem lokalen llama.cpp-/BF16-Setup 22,6 Prozent auf IFStruct. Der Beitrag stellt dies dem im IFStruct-Release-Blog genannten Wert von 21,1 Prozent für LFM2.5-350M gegenüber.
Nach dem kurzen GRPO-Lauf lag der berichtete IFStruct-Wert bei 29,7 Prozent – ein Zuwachs von 7,1 Prozentpunkten innerhalb dieser Auswertung. Für JSON stieg die Pass-Rate laut Beitrag von 18,0 auf 31,9 Prozent; YAML blieb demnach weitgehend unverändert.
Der Wert von 29,7 Prozent liegt weiterhin unter den im Beitrag zitierten 33,15 Prozent für Qwen3.5-2B. Der Vergleich betrifft damit ein größeres Modell, während der Leitfaden LFM2.5-350M als Modell mit 350 Millionen Parametern behandelt.
Einordnung und Grenzen
Das Ergebnis ist für Anwendungen relevant, bei denen Modelle vorgegebene Schemata einhalten müssen: Der Leitfaden verknüpft die Feinabstimmung ausdrücklich mit JSON-Schemas, erwarteten Feldzahlen und strukturierter Ausgabe.
Die Angaben sind jedoch ein Bericht aus einer einzelnen Quelle und einem lokalen Evaluierungsaufbau. Sie belegen die gemeldete Verbesserung in diesem Setup, nicht aber zwangsläufig dieselbe Wirkung bei anderen Hardware-, Inferenz-, Quantisierungs- oder Evaluierungskonfigurationen.
Auch bleibt offen, wie sich die Anpassung auf andere Aufgaben als IFStruct oder auf Formate jenseits der genannten JSON- und YAML-Ergebnisse auswirkt. Der nahezu unveränderte YAML-Wert deutet zumindest darauf hin, dass die berichteten Effekte nicht für jedes Format gleich ausfallen müssen.
Wie es weitergeht
Nächste sinnvolle Prüfungen wären Reproduktionen des Workflows in unabhängigen Umgebungen sowie Auswertungen auf weiteren strukturierten Formaten und Aufgaben. Der vorliegende Blogbeitrag liefert dafür eine konkrete Trainingskonfiguration, ersetzt aber keine unabhängige Validierung.
Änderungsvermerk: Erstfassung auf Basis eines einzelnen offiziellen Hugging-Face-Blogbeitrags; alle Leistungswerte sind als berichtete Ergebnisse eines lokalen Setups eingeordnet.