Multimodale Suche gezielt für eigene Dokumente trainieren
💡 Quellen-Hinweis: Dieser Beitrag ist eine redaktionelle Zusammenfassung basierend auf einem Originalbericht von Hugging Face Blog.
Sentence Transformers unterstützt inzwischen nicht nur Text, sondern auch Bilder, Audio und Video. Ein neuer Praxisbeitrag zeigt, wie Entwickler solche multimodalen Embedding- und Reranker-Modelle mit eigenen Daten trainieren. Als Beispiel dient Visual Document Retrieval: Eine Textfrage soll jene Dokumentseite finden, auf der die passende Information samt Layout, Tabelle oder Diagramm sichtbar ist.
Domänentraining schlägt Modellgröße
Ausgangspunkt ist Qwen3-VL-Embedding-2B. Nach dem Finetuning erreicht das Modell auf den verwendeten Evaluationsdaten einen NDCG@10-Wert von 0,947 statt 0,888 beim Basismodell. In diesem Test liegt es damit vor allen verglichenen VDR-Modellen, obwohl einige bis zu viermal größer sind. Das unterstreicht den Nutzen spezialisierter Daten: Ein universelles Modell beherrscht viele Aufgaben, kennt aber die Muster eines konkreten Dokumentbestands nicht automatisch optimal.
Für das Training nutzt das Beispiel englische Abfragen, positive Dokumentbilder und jeweils ein schweres Negativbeispiel. Die vorverarbeitete Datenbasis stammt aus einem mehrsprachigen Korpus öffentlicher PDFs. Sentence Transformers akzeptiert Bilder dabei direkt als PIL-Objekte, Pfade, URLs oder Arrays; der Prozessor übernimmt die passende Vorverarbeitung. Auch Audio, Video und gemischte Eingabewörterbücher sind vorgesehen.
Bekannte Pipeline, neue Modalitäten
Der Aufbau ähnelt dem Texttraining: Modell, Datensatz, Verlustfunktion, Trainingsargumente, Evaluator und SentenceTransformerTrainer werden kombiniert. Der Artikel setzt auf CachedMultipleNegativesRankingLoss. Sie zieht passende Query-Dokument-Paare zusammen und drückt harte sowie im Batch enthaltene Negativbeispiele auseinander. Gradient Caching ermöglicht größere effektive Batches, ohne dass der gesamte Batch gleichzeitig in den GPU-Speicher passen muss.
Mit Matryoshka-Training können zudem brauchbare Embeddings verschiedener Längen aus demselben Modell entstehen. Das ist praktisch, wenn Suchqualität gegen Speicherbedarf und Geschwindigkeit abgewogen werden muss. Alternativ lassen sich über einen Router getrennte Text- und Bildencoder kombinieren. Deren Vektorräume müssen allerdings erst durch Training aufeinander ausgerichtet werden.
Kontext für RAG und Unternehmenssuche
Für RAG-Systeme erweitert dieser Ansatz die Suche über reinen extrahierten Text hinaus. Besonders bei Rechnungen, Präsentationen, technischen Handbüchern oder Geschäftsberichten sind Layout und visuelle Strukturen oft Teil der Bedeutung. Das Beispiel liefert keinen universellen Erfolgswert für jede Domäne, zeigt aber eine klare Vorgehensweise: repräsentative Paare sammeln, sinnvolle Negativbeispiele wählen und mit einer getrennten Evaluation prüfen. Kleinere, gezielt trainierte Modelle können dadurch wirtschaftlicher und zugleich präziser sein als deutlich größere Allzweckmodelle.
Originalquelle: Hugging Face Blog – Training and Finetuning Multimodal Embedding & Reranker Models with Sentence Transformers
