NVIDIA hat nach eigenen Angaben den Inferenzbeschleuniger Groq 3 LPX in die Vollproduktion überführt. Das Rack-Scale-System ist für den Einsatz mit Vera Rubin NVL72 vorgesehen und soll auf Inferenz für agentische KI ausgerichtet sein.
Was NVIDIA angekündigt hat
Eine Rack-Scale-Konfiguration von Groq 3 LPX kann laut NVIDIA 256 LP30-Beschleuniger umfassen, die über direkte Chip-zu-Chip-Verbindungen gekoppelt sind. NVIDIA positioniert das System damit als Teil seiner Vera-Rubin-Infrastruktur für KI-Inferenz.
Für agentische Systeme ist Inferenz besonders relevant, weil diese Systeme lange Kontexte verarbeiten und fortlaufend Modellantworten erzeugen können. NVIDIA verweist dabei auf einen Benchmark von Artificial Analysis mit Gemma 4 31B, einem Open-Source-Modell für agentische KI: Dort seien bei Anwendungsfällen mit 100.000 Token Kontext 3.400 ausgegebene Token pro Sekunde erreicht worden. NVIDIA bezeichnet das Ergebnis als viermal schneller als die nächstliegende alternative Plattform.
Einordnung der Leistungsangabe
Die Zahlen sind eine von NVIDIA zitierte Benchmark-Angabe und keine unabhängige Bestätigung durch mehrere Quellen in diesem Dossier. Angaben zur genauen Vergleichsplattform, zu vollständigen Testbedingungen oder dazu, wie sich das Resultat auf andere Modelle und Produktionsworkloads übertragen lässt, liegen hier nicht vor.
Damit ist die Kennzahl ein Hinweis auf die von NVIDIA angestrebte Positionierung bei Long-Context-Inferenz, aber keine ausreichende Grundlage für einen allgemeinen Leistungsvergleich zwischen Inferenzplattformen.
Partner- und Netzwerkangaben
NVIDIA erklärt, Nebius sei die erste KI-Cloud, die Groq 3 LPX einsetze. Außerdem habe CoreWeave Spectrum-X Multiplane in Produktion gebracht. Diese Aussagen wurden im vorliegenden Material nicht durch Mitteilungen der genannten Unternehmen unabhängig bestätigt.
Spectrum-X Multiplane soll laut NVIDIA ein flaches Netzwerk für bis zu 512.000 GPUs ermöglichen, ohne eine dritte Netzwerkebene. NVIDIA kündigte ferner „Scale-In“ als fünfte Säule seines KI-Netzwerkportfolios an.
Mit NVLink Fusion will NVIDIA nach eigener Darstellung kundenspezifische XPUs und CPUs an seinen Stack für Scale-up- und Scale-out-Technik anbinden. Zudem teilte NVIDIA mit, SpaceXAI habe angekündigt, NVIDIA-Vera-CPUs für seine nächste Generation agentischer KI zu nutzen. Auch diese Partnerangabe basiert in diesem Dossier auf NVIDIAs Darstellung.
Warum die Ankündigung relevant ist
Die Mitteilung bündelt Beschleuniger, Rack-System, Netzwerktechnik und Schnittstellen für kundenspezifische Prozessoren in einer Plattform-Erzählung. Für Betreiber großer KI-Infrastrukturen ist dabei nicht allein die Geschwindigkeit einzelner Beschleuniger entscheidend: Die Verbindung innerhalb eines Racks und zwischen vielen Systemen bestimmt mit, wie groß ein Cluster aufgebaut werden kann.
Die Ankündigung liefert jedoch noch keine Angaben zu Preisen, Liefermengen, breiter Verfügbarkeit, Energieverbrauch oder zur praktischen Leistung bei weiteren Modellen. Ebenso bleibt offen, wann und in welchem Umfang die genannten Partnerinstallationen verfügbar sind.
Wie es weitergeht
Entscheidend werden unabhängige Leistungs- und Effizienztests sowie konkrete Angaben von NVIDIA und den genannten Partnern zu Verfügbarkeit, Umfang der Installationen und Einsatzszenarien sein.
Änderungsvermerk: Erstfassung auf Basis einer einzelnen primären NVIDIA-Blogveröffentlichung; Hersteller- und Partnerangaben sind als solche gekennzeichnet.