NeoMME: Multimodaler Encoder für viele Sprachen
💡 Quellen-Hinweis: Dieser Beitrag ist eine redaktionelle Zusammenfassung basierend auf einem Originalbericht von Hugging Face Blog.
NeoMME ist eine neue Familie mehrsprachiger und multimodaler Encoder mit 260 beziehungsweise 800 Millionen Parametern. Ihr Ziel sind Aufgaben wie Dokumentensuche, Klassifikation und Retrieval, nicht die Textgenerierung. Der Ansatz verarbeitet Bildausschnitte und Text-Tokens in einem gemeinsamen bidirektionalen Transformer und verzichtet damit auf die bei visuellen Sprachmodellen übliche getrennte Vision-Komponente.
Ein gemeinsamer Rechenweg für Bild und Text
Bilder werden in nicht überlappende 32-mal-32-Pixel-Patches zerlegt, Text über eigene Einbettungen eingebracht. Beides landet im selben Encoder. NeoMME kann Bildauflösungen dynamisch verarbeiten und bietet laut Projekt ein Kontextfenster von 16.384 Tokens. Sliding-Window- und globale Attention-Schichten sollen dabei lange Eingaben effizient handhaben.
Trainiert wurde die Architektur von Grund auf mit einer maskierten diskreten Diffusionsaufgabe. Bei multimodalen Beispielen bleiben Bild-Patches sichtbar, während Teile des Textes rekonstruiert werden müssen. Bei starker Maskierung soll das Modell Bildinformationen tatsächlich nutzen, statt nur Sprachmuster zu ergänzen. Das Training kombiniert mehrsprachigen Text, Code, Mathematik, natürliche Bilder und Dokumentseiten.
Dokumentensuche ohne OCR-Zwang
Für den praktischen Einsatz wurde NeoMME zum Retriever weiterentwickelt. Dabei werden Seiten eines Dokuments als Bild behandelt, ähnlich dem ColPali-Ansatz. Das bewahrt Layout, Tabellen, Diagramme und typografische Hinweise, die eine reine Textextraktion verlieren kann. Ein Dense-Head und ein Late-Interaction-Head erzeugen in einem Durchlauf unterschiedliche Repräsentationen für die Suche.
Der Bericht nennt eine hohe Verarbeitungsgeschwindigkeit der kleinen Variante auf einer NVIDIA L40S sowie deutliche Einsparungen beim Indexspeicher durch hierarchisches Token-Pooling und asymmetrische Quantisierung. Die Kennzahlen stammen aus den eigenen Vergleichen; für konkrete Dokumentbestände bleiben eigene Tests unverzichtbar.
Relevanz für Wissenssysteme
Für RAG-Systeme mit gescannten PDFs, Formularen oder mehrsprachigen Unternehmensunterlagen ist der Ansatz interessant. Er könnte aufwendige OCR-Vorverarbeitung reduzieren und visuelle Struktur stärker in die Suche einbeziehen. NeoMME ist in Transformers verfügbar, die Checkpoints stehen unter Apache 2.0. Trotzdem sollten Teams Latenz, Indexgröße und Retrieval-Qualität mit ihren Dokumenttypen evaluieren, bevor sie bestehende Pipelines ersetzen.
Originalquelle: Hugging Face Blog – NeoMME: an efficient Multimodal-native and Multilingual Encoder
