NeMo AutoModel beschleunigt das Training grosser MoE-Modelle deutlich
đź’ˇ Quellen-Hinweis: Dieser Beitrag ist eine redaktionelle Zusammenfassung basierend auf einem Originalbericht von Hugging Face Blog.
NVIDIA verbindet seine offene Bibliothek NeMo AutoModel enger mit Hugging Face Transformers 5. Ziel ist, grosse Mixture-of-Experts-Modelle schneller und speichereffizienter zu trainieren, ohne eine völlig neue Programmierschnittstelle zu verlangen. Laut den veröffentlichten Benchmarks genügt bei unterstützten Modellen im Kern ein geänderter Import, während Laden und Speichern weiterhin über vertraute Hugging-Face-Mechanismen laufen.
Optimierung oberhalb von Transformers 5
Transformers 5 liefert bereits Expert-Backends, dynamische Gewichtskonvertierung und verteilte Ausführung über PyTorch DeviceMesh. NeMo AutoModel ergänzt Expert Parallelism, DeepEP für optimierten All-to-All-Datenaustausch sowie Kernel aus TransformerEngine. Expertengewichte werden über GPUs verteilt, während die Kommunikation des Token-Routings mit Berechnungen überlappt. Standardkonforme Hugging-Face-Checkpoints bleiben erhalten und lassen sich später etwa mit vLLM oder SGLang verwenden.
Auf acht H100-GPUs erreichte Qwen3-30B-A3B laut NVIDIA durchschnittlich 11.340 Tokens pro Sekunde und GPU gegenĂĽber 3.075 mit der optimierten Transformers-5-Konfiguration. Der Spitzenverbrauch sank von 68,2 auf 48,1 GiB. Bei Nemotron 3 Nano 30B A3B wurden 15.421 statt 4.583 Tokens pro Sekunde und GPU sowie 42,5 statt 62,1 GiB gemessen. Das entspricht etwa 3,4- bis 3,7-fachem Durchsatz und 29 bis 32 Prozent weniger Speicher.
Skalierung bis 550 Milliarden Parameter
Für ein vollständiges Fine-Tuning von Nemotron 3 Ultra 550B A55B kamen 128 H100-GPUs über 16 Knoten zum Einsatz. Expert Parallelism mit EP=64 hielt den gemessenen Spitzenverbrauch bei 58,2 GiB pro GPU; eine direkte Transformers-5-Messung fehlte, weil diese Konfiguration laut Beitrag nicht in den Speicher passte.
Benchmarks richtig einordnen
Die Zahlen sind technisch beeindruckend, stammen jedoch von NVIDIA und nutzen für NeMo eine balancierte Routing-Gate-Konfiguration, während die Vergleichsläufe ihr natives Routing verwenden. Sie beschreiben damit einen idealisierten MoE-Arbeitspunkt und sollten in eigenen Trainingsdaten verifiziert werden. Für Teams mit grossen MoE-Modellen bleibt der Ansatz trotzdem relevant: Mehr nutzbarer GPU-Speicher ermöglicht längere Sequenzen oder grössere Batches, und die API-Kompatibilität senkt die Einstiegshürde für bestehende Transformers-Projekte.
Originalquelle: Hugging Face Blog – Accelerating Transformers Fine-Tuning with NVIDIA NeMo AutoModel
