mmBERT: Mehrsprachige KI für 1.800 Sprachen
💡 Quellen-Hinweis: Dieser Beitrag ist eine redaktionelle Zusammenfassung basierend auf einem Originalbericht von Hugging Face Blog.
Mit mmBERT stellt Hugging Face einen offen verfügbaren Encoder für Sprachverarbeitung vor, der auf eine ungewöhnlich breite Sprachabdeckung zielt. Das Modell wurde mit mehr als drei Billionen Tokens trainiert und soll Texte in über 1.800 Sprachen verarbeiten. Anders als generative Chatmodelle ist es vor allem als Baustein für Suche, Klassifikation, Fragebeantwortung und Embeddings gedacht.
Training in Etappen statt alles gleichzeitig
Die Entwickler bauen auf ModernBERT auf, wechseln aber zum Tokenizer von Gemma 2 und passen das Training gezielt an Mehrsprachigkeit an. Zunächst lernt das Modell mit 60 häufig vertretenen Sprachen, später kommen 110 und in der letzten Phase alle 1.833 Sprachen aus FineWeb2 hinzu. Parallel sinkt die Maskierungsrate von 30 auf 5 Prozent. Diese Staffelung soll verhindern, dass die vergleichsweise kleinen Datenmengen seltener Sprachen zu oft wiederholt werden.
Für die Datenbasis kombiniert das Team kuratierte englische Webdaten mit FineWeb2, dessen gefilterter Variante sowie Fach- und Referenzmaterial, Code und weiteren Quellen. In der Schlussphase werden mehrere Varianten für Englisch, 110 Sprachen und alle Sprachen per TIES-Merging zusammengeführt. Das ist ein bemerkenswerter Versuch, breite Abdeckung und starke Leistung in häufigen Sprachen nicht gegeneinander auszuspielen.
Leistung und technische Grenzen
Nach Angaben des Projekts verbessert mmBERT die Resultate gegenüber XLM-R in mehreren XTREME-Aufgaben und bleibt bei englischen Benchmarks konkurrenzfähig. Besonders relevant ist die These, dass auch Sprachen mit wenig Daten erst in der letzten Trainingsphase wirksam hinzukommen können. Bei NER und POS-Tagging nennt der Bericht jedoch keine vergleichbaren Fortschritte; hier können Token-Grenzen eine Rolle spielen.
Die kleine Variante besitzt 42 Millionen, die Basisvariante 110 Millionen Parameter ohne Embeddings. Flash Attention 2, weniger Padding und ein Kontextfenster bis 8.192 Tokens sollen die Inferenz gegenüber älteren multilingualen Encodern beschleunigen.
Praktischer Nutzen für Teams
Für Unternehmen mit Dokumenten, Supportanfragen oder Wissensdaten in vielen Sprachen kann ein solcher Encoder die Basis für semantische Suche und Retrieval bilden. Die offene Verfügbarkeit erleichtert Tests, ersetzt aber nicht die Prüfung mit eigenen Sprachdaten und Datenschutzvorgaben. Entscheidend wird sein, ob die versprochene Breite auch bei den konkreten Zielsprachen und Aufgaben stabil trägt.
Originalquelle: Hugging Face Blog – mmBERT: ModernBERT goes Multilingual
