Llama 4: Meta bringt multimodale MoE-Modelle auf Hugging Face
💡 Quellen-Hinweis: Dieser Beitrag ist eine redaktionelle Zusammenfassung basierend auf einem Originalbericht von Hugging Face Blog.
Mit Llama 4 Maverick und Llama 4 Scout stehen zwei neue Meta-Modelle direkt über den Hugging Face Hub bereit. Beide nutzen eine Mixture-of-Experts-Architektur und verarbeiten Text und Bilder nativ. Für Teams ist das vor allem ein schnellerer Weg von der Modellfreigabe zu Tests, Feinabstimmung und produktivem Serving.
Zwei Modelle, ein aktiver Kern
Scout kombiniert rund 109 Milliarden Gesamtparameter mit 17 Milliarden aktiven Parametern und 16 Experten; Maverick setzt bei etwa 400 Milliarden Parametern auf 128 Experten, ebenfalls mit 17 Milliarden aktiven Parametern. Das Prinzip aktiviert je Eingabe nur Teile des Modells. Scout ist laut Beitrag per On-the-fly-Quantisierung in 4 oder 8 Bit auf einer Server-GPU einsetzbar, während Maverick auch als BF16- und FP8-Variante verfügbar ist.
Beide Instruct-Modelle akzeptieren Bild- und Texteingaben. Die vortrainierten Varianten besitzen ein Kontextfenster von 256.000 Tokens; für die Instruct-Ausgaben nennt Hugging Face bis zu einer Million Tokens bei Maverick und bis zu zehn Millionen bei Scout. Diese Werte sind technische Zielgrößen, deren praktischer Nutzen stark von Hardware, Prompt-Design und Anwendung abhängt.
Integration für Entwicklung und Betrieb
Die Modelle sind in transformers ab Version 4.51.0 integriert und werden auch von Text Generation Inference (TGI) unterstützt. Automatisches Device Mapping und Tensor-Parallelismus sollen die Verteilung auf verfügbare Beschleuniger erleichtern. Für Scout steht Quantisierungscode bereit; Maverick bringt FP8-Gewichte mit. Der Zugriff auf die Gewichte erfordert die Annahme der Llama-4-Community-Lizenz auf den jeweiligen Model Cards.
Architektur für lange Eingaben
Hugging Face beschreibt eine Kombination aus NoPE-Schichten, stückweiser Attention in RoPE-Schichten und temperaturangepasster Softmax. Die Chunked Attention begrenzt in vielen Schichten den Blick auf 8K-Blöcke, während NoPE-Schichten den gesamten Kontext berücksichtigen können. Das soll Speicher- und Rechenaufwand bei sehr langen Eingaben besser austarieren.
Für Praktiker bedeutet die Freigabe vor allem: multimodale Llama-Modelle lassen sich nun mit etablierten Hugging-Face-Werkzeugen evaluieren und betreiben. Vor einer Produktiventscheidung bleiben Lizenzprüfung, realistische Lasttests und eine Kostenbetrachtung unverzichtbar.
Originalquelle: Hugging Face Blog – Welcome Llama 4 Maverick & Scout on Hugging Face
