llama.cpp b10829 ersetzt bei der GDN-Normalisierung die bisherige max-basierte Berechnung durch eine rsqrt-basierte Formulierung. Laut den Release Notes betrifft die Änderung die q/k-Normalisierung von Gated Delta Net und orientiert sich an der L2-Norm aus flash-linear-attention.
Was sich technisch ändert
Die Release Notes beschreiben die verwendete Formel als „l2norm(x) = x * rsqrt(sum(x*x) + eps)“. Damit liegt epsilon innerhalb der Quadratwurzelberechnung.
Zugleich grenzt das Projekt die Korrektur von der allgemeinen ggml-Funktion ab: „ggml_l2_norm“ selbst sei korrekt und unverändert. Den Angaben zufolge verwendeten jedoch zuvor alle GDN-Aufrufstellen im Codebaum diese Funktion, während die GDN-Implementierung die abweichende rsqrt-Formulierung benötigt.
Die Änderung ist damit eine gezielte Anpassung der Modelllogik und keine angekündigte Änderung von ggml_l2_norm selbst. Georgi Gerganov ist in den Release Notes als Mitautor aufgeführt.
Warum das für Nutzer relevant ist
Normalisierungsschritte sind Teil der Berechnung von Modellaktivierungen. Wenn eine Laufzeitumgebung eine für ein Modell relevante Formel anpasst, kann das für Nutzende vor allem bei GDN-basierten Modellen relevant sein, weil sich die Ausführung näher an der in den Release Notes genannten flash-linear-attention-Referenz orientiert.
Aus den vorliegenden Release Notes geht jedoch nicht hervor, welche konkreten Modelle oder Modellversionen betroffen sind. Ebenso nennt die Quelle keine Messwerte zu Ausgabequalität, Leistung, Speicherbedarf oder Kompatibilität vor und nach dem Update.
Binärdateien für mehrere Zielsysteme
Für b10829 werden vorkompilierte Artefakte unter anderem für macOS auf Apple Silicon (arm64), Ubuntu x64 mit CPU-Unterstützung sowie Windows x64 mit CUDA 12 aufgeführt.
Das erleichtert die Nutzung des Releases auf diesen Plattformen, ohne dass Nutzende zwingend selbst kompilieren müssen. Welche weiteren Varianten oder Backend-Konfigurationen im vollständigen Asset-Verzeichnis verfügbar sind, lässt sich anhand der vorliegenden Angaben nicht abschließend bestimmen.
Wie es weitergeht
Nutzende von GDN-basierten Modellen können b10829 in ihrer jeweiligen Umgebung testen und insbesondere Ergebnisse sowie Kompatibilität gegenüber der vorherigen Version vergleichen.
Änderungsvermerk: Release-Bericht auf Grundlage der primären GitHub-Release-Notes zu b10829; eingegrenzt auf die dokumentierte GDN-Normalisierung und die genannten Binärpakete.