Hugging Face hat NeoMME vorgestellt, eine Familie mehrsprachiger multimodaler Encoder mit 260 Millionen und 800 Millionen Parametern. Nach Angaben des Unternehmens sind sämtliche Modell-Checkpoints unter der Apache-2.0-Lizenz veröffentlicht, und NeoMME ist in Hugging Face Transformers verfügbar.
Ein Encoder für Text und Bild-Patches
NeoMME verarbeitet Text-Token und rohe Bild-Patches mit einem einzigen bidirektionalen Transformer. Das gesamte Modell wurde laut dem offiziellen Blogbeitrag von Grund auf mit einem maskierten Discrete-Diffusion-Ziel trainiert.
Die Familie richtet sich damit an Aufgaben, bei denen Text- und Bildinformationen gemeinsam als Repräsentationen kodiert werden sollen. Der Beitrag beschreibt zwei Modellgrößen: 260 Millionen und 800 Millionen Parameter.
Retriever für visuelle Dokumente
Zusätzlich stellt Hugging Face NeoMME-Retriever vor, eine für visuelle Dokumentensuche feinabgestimmte Variante. Dafür wurde der im Beitrag genannte Page-Image-Ansatz von ColPali verwendet.
NeoMME-Retriever liefert in einem einzelnen Forward Pass sowohl dichte als auch Late-Interaction-Embeddings. Das ist für Retrieval-Systeme relevant, weil der Anbieter damit zwei Arten von Repräsentationen aus demselben Modell bereitstellt. Wie sich diese Eigenschaft in vollständigen Produktionssystemen gegenüber Alternativen auswirkt, lässt sich aus dem Blogbeitrag allein jedoch nicht ableiten.
Vom Anbieter gemeldete Messwerte
Hugging Face berichtet für NeoMME-Retriever-260M auf ViDoRe v3 einen nDCG@10-Wert von 0,523. Dem Beitrag zufolge ist dies der höchste Wert unter den dort bewerteten Modellen mit strikt weniger als 800 Millionen Parametern.
Bei einer Eingabegröße von 2048 × 2048 auf einer NVIDIA L40S soll die 260M-Variante etwa 51 Seiten pro Sekunde kodieren. Außerdem beschreibt der Beitrag eine Kompressionskonfiguration mit 6 kB pro Seite — 255-mal kleiner —, die mehr als 95 Prozent der ursprünglichen Retrieval-Qualität beibehalte.
Diese Benchmark-, Durchsatz- und Kompressionswerte stammen aus dem offiziellen Hugging-Face-Beitrag. Unabhängige Replikationen oder externe Vergleichstests liegen im vorliegenden Material nicht vor. Deshalb belegen die Angaben die vom Anbieter berichteten Resultate, nicht jedoch eine unabhängig bestätigte Rangfolge oder Leistung in anderen Einsatzumgebungen.
Offene Verfügbarkeit, aber offene Praxisfragen
Die Apache-2.0-Veröffentlichung der Checkpoints und die Unterstützung in Transformers senken nach Angaben des Beitrags die Hürden für Erprobung und Integration. Für Teams, die visuelle Dokumentensuche entwickeln, ist insbesondere die Verfügbarkeit einer explizit dafür feinabgestimmten Modellvariante relevant.
Offen bleiben unter anderem Ergebnisse außerhalb von ViDoRe v3, die Leistung anderer Hardware- und Eingabekonfigurationen sowie unabhängige Bewertungen der behaupteten Effizienz- und Qualitätswerte.
Wie es weitergeht
Entwickler können die veröffentlichten Checkpoints und die Transformers-Integration evaluieren. Für eine belastbarere Einordnung wären unabhängige Replikationen und Vergleiche unter einheitlichen Bedingungen nötig.
Änderungsvermerk: Erstfassung auf Basis eines offiziellen Hugging-Face-Blogbeitrags; Leistungswerte sind ausdrücklich als Anbieterangaben eingeordnet.