Hugging Face hat Transformers 5.16.0 veröffentlicht. Die Version unterstützt Qwen4-Exp, Granite Speech 5.0, Step-3.7, CohereCompass sowie ESMC und ESMFold2. Zugleich ersetzt sie die bisherige Tensor-Parallel-Implementierung durch ein DTensor-natives Backend – eine Änderung, die für bestehende verteilte Inferenz-Setups relevant sein kann.
Neue Modellintegrationen
Nach den Release Notes bringt 5.16.0 Unterstützung für Qwen4-Exp und Granite Speech 5.0 sowie eine Integration für Step-3.7. Hinzu kommen CohereCompass-Modellierung und die Portierung von ESMC und ESMFold2 in Transformers.
Die Erweiterungen konzentrieren sich damit nicht nur auf Sprachmodelle. Mit ESMC und ESMFold2 umfasst das Update auch Modelle, die in den Release Notes als eigenständige Ports in die Bibliothek ausgewiesen werden.
Für Step-3.7-Flash vermerken die Release Notes zugleich eine Einschränkung: StepFun habe keinen technischen Bericht zu diesem Modell veröffentlicht. Details über Architektur, Training oder Evaluierung, die über die Integrationsankündigung hinausgehen, lassen sich daraus daher nicht ableiten.
Umstellung bei Tensor Parallelism
Die bedeutendste technische Änderung ist der Austausch der alten Tensor-Parallel-Implementierung gegen ein DTensor-natives Backend. Tensor Parallelism verteilt Teile eines Modells auf mehrere Recheneinheiten; der Backend-Wechsel betrifft deshalb insbesondere Anwender, die diese Funktion bereits einsetzen.
Transformers 5.16.0 führt außerdem eine als „naiv“ bezeichnete Engine für Pipeline-parallele Inferenz ein. Sie unterstützt laut Release Notes Modelle mit gebundenen und ungebundenen Embedding-Gewichten und ist in die Methode generate() integriert.
Die Umstellung ist nicht nur eine Funktionsausweitung, sondern auch eine Kompatibilitätsfrage. Bereits 5.16.1 nennt die Wiederherstellung rückwärtskompatiblen Verhaltens für die Tensor-Parallel-API. Das deutet darauf hin, dass Nutzer von Tensor Parallelism Versionshinweise und das Verhalten ihrer eigenen Integrationen prüfen sollten. Konkrete Migrationsschritte oder Auswirkungen auf Leistung nennt das vorliegende Material nicht.
Quantisierung und Fehlerkorrekturen
Im Bereich Quantisierung ergänzt 5.16.0 Unterstützung für NVFP4 über HF Kernels. Die Release Notes enthalten jedoch keine Messwerte zu Speicherbedarf, Geschwindigkeit oder Modellqualität; aus der Ankündigung allein lässt sich somit kein praktischer Leistungsvorteil quantifizieren.
Daneben behebt das Release mehrere Cache-bezogene Fehler. Genannt werden ein Off-by-one-Fehler im Sliding-Window-Cache sowie eine Cache-Korruption beim spekulativen Decoding von Whisper. In 5.16.1 wurde zusätzlich ein Fehler bei Kernel-Commit- und Repository-Pfaden für ESMFold2 korrigiert.
Version 5.16.1 folgte mit GLM-Unterstützung
Am selben Datum erschien auch Transformers 5.16.1. Hugging Face bezeichnete diese Ausgabe als besondere Veröffentlichung mit GLM und kleineren Korrekturen. Die Version ergänzt Unterstützung für GLM-5.3-Flash.
Die Release Notes zu 5.16.1 beschreiben GLM-5.3-Flash mit 320 Milliarden Gesamtparametern und 18 Milliarden aktiven Parametern sowie einer hybriden Architektur aus Sparse- und Linear-Attention. Sie behaupten zudem bessere Ergebnisse als GLM-5.2 bei einem Zehntel des Preises und eine Annäherung an Claude Opus 4.8 bei Coding- und agentischen Benchmarks. Diese Leistungs- und Preisangaben stammen aus den Release Notes; unabhängige Validierung liegt im bereitgestellten Material nicht vor.
Wie es weitergeht
Teams, die Tensor Parallelism in Transformers verwenden, sollten die Änderungen in 5.16.0 und die Kompatibilitätskorrektur in 5.16.1 vor einem Produktiv-Upgrade testen. Für Anwender neuer Modellintegrationen bleibt zu prüfen, ob die jeweilige Modellunterstützung und die neuen Parallelisierungs- oder Quantisierungsfunktionen zu ihrer Hardware und ihrem Inferenz-Workflow passen.
Änderungsvermerk: Neuer Artikel auf Basis der primären GitHub-Release-Notes zu Transformers 5.16.0 und der im Dossier enthaltenen Folgeveröffentlichung 5.16.1.