Hugging Face hat @huggingface/kernels veröffentlicht, eine nach Angaben des Unternehmens schlanke Bibliothek zum Laden und Ausführen optimierter WebGPU-Kernel vom Hugging Face Hub. Gleichzeitig startet Fleet, eine Browser-basierte Suite, die diese Kernel auf der Hardware der Nutzenden testet und bewertet.
207 Kernel zum Start
Die anfängliche Sammlung auf dem Hugging Face Hub umfasst 207 Kernel. Jeder Kernel hat laut Hugging Face ein eigenes Repository und eine eigene Kernel Card.
Die Ankündigung betrifft einzelne WebGPU-Operationen. Die Bibliothek soll dafür dienen, optimierte Kernel aus dem Hub zu laden und auszuführen; daraus folgt noch keine Aussage über die Leistung vollständiger Anwendungen oder Modelle.
Fleet sammelt Benchmarks im Browser
Fleet führt und bewertet Kernel im Browser auf der jeweiligen Hardware. Mit Einwilligung der Nutzenden können Durchläufe laut Hugging Face private Evidenz liefern, um fehlerhafte Resultate und besonders langsame Fälle zu erkennen sowie Kernelvarianten und Optimierungsentscheidungen zu verbessern.
Das ist relevant, weil Leistung laut Hugging Face je nach GPU und Browser variieren kann. Das Unternehmen nennt jedoch keine Details dazu, welche Daten die private Evidenz umfasst, wie lange sie gespeichert wird oder welche Ergebnisse daraus veröffentlicht werden.
Herstellervergleich mit ORT WebGPU
Hugging Face verglich die Sammlung mit ORT WebGPU auf einer Apple-M4-GPU unter ONNX Runtime Web 1.30.0-dev.20260826-b1f76d586a. Aus 1.756 Testfällen über alle 207 Operationen behielt das Unternehmen 809 Fälle, bei denen beide Implementierungen übereinstimmende Ausgaben und verlässliche Zeitmessungen lieferten.
Für diese 809 Vergleiche berichtet Hugging Face einen geometrischen mittleren Geschwindigkeitsvorteil von 2,57× und einen Medianvorteil von 1,90× gegenüber ORT WebGPU. Die neue Sammlung gewann nach Unternehmensangaben 629 Vergleiche, verlor 176 und erreichte vier Gleichstände.
Die Werte sind begrenzt einzuordnen: Gemessen wurde nur die auf der GPU ausgeführte Arbeit. Ausgeschlossen waren das Laden von Kerneln, das Erstellen von Sitzungen, das Hochladen von Eingaben, die Shader-Kompilierung und das Auslesen von Ergebnissen. Zudem beziehen sich die Resultate auf einzelne Operationen statt auf vollständige Modelle. Die vom Anbieter selbst erhobenen Werte belegen daher keinen entsprechenden End-to-End-Vorteil bei Modellinferenz.
Upstream-Pläne für ONNX Runtime
Hugging Face erklärte, mit dem ONNX-Runtime-Team daran zu arbeiten, Verbesserungen in ONNX Runtime zu übernehmen, damit das breitere ONNX-Runtime-Web-Ökosystem davon profitieren könne.
Welche konkreten Verbesserungen übernommen werden, nach welchem Zeitplan dies geschieht und wie die Kernel auf weiterer Hardware, in anderen Browsern oder bei kompletten Modellen abschneiden, bleibt offen.
Wie es weitergeht
Aussagekräftiger wird das Bild, wenn Tests auf weiteren GPU- und Browser-Konfigurationen vorliegen und wenn klar wird, ob und in welcher Form Verbesserungen in ONNX Runtime Web übernommen werden.
Änderungsvermerk: Aktualisierte Fassung auf Basis der offiziellen Hugging-Face-Ankündigung; die Herstellerbenchmarks werden mit Methodik und Einschränkungen eingeordnet.