IBM Granite 4.1: Kleine Sprachmodelle mit 512K Kontext
đź’ˇ Quellen-Hinweis: Dieser Beitrag ist eine redaktionelle Zusammenfassung basierend auf einem Originalbericht von Hugging Face Blog.
IBM legt die Trainingsmethodik hinter Granite 4.1 offen. Die Modellfamilie umfasst dichte Decoder-Transformer mit 3, 8 und 30 Milliarden Parametern, wurde auf rund 15 Billionen Token vortrainiert und steht unter Apache 2.0. Bemerkenswert ist laut IBM besonders die 8B-Instruct-Variante: Sie erreicht oder ĂĽbertrifft das frĂĽhere Granite-4.0-H-Small-Modell mit 32 Milliarden Gesamt- und neun Milliarden aktiven Parametern, obwohl ihre Architektur einfacher ist.
FĂĽnf Trainingsphasen statt reiner Skalierung
Technisch setzen alle Größen auf Grouped Query Attention, RoPE-Positionseinbettungen, SwiGLU, RMSNorm und gemeinsam genutzte Ein- und Ausgabe-Embeddings. Entscheidend ist jedoch die Datenstrategie. Zwei breite Vortrainingsphasen werden von zwei Mid-Training-Stufen abgelöst, in denen höherwertige und stärker domänenspezifische Daten zunehmend Gewicht erhalten. In der fünften Phase erweitert IBM das Kontextfenster auf 512.000 Token. Damit sollen lange Dokumente und umfangreiche Code- oder Wissensbestände ohne frühes Zerschneiden verarbeitet werden.
An das Vortraining schließt sich Supervised Fine-Tuning mit ungefähr 4,1 Millionen kuratierten Beispielen an. Ein LLM-as-a-Judge-Verfahren hilft bei der Auswahl. Der Ansatz verdeutlicht einen aktuellen Trend: Bei kleineren Modellen wird die Qualität der Datenmischung zum zentralen Hebel, weil zusätzliche Parameter nicht automatisch bessere Antworten oder zuverlässigeres Befolgen von Anweisungen liefern.
Gezieltes Reinforcement Learning
IBM verwendet On-Policy GRPO mit DAPO-Loss in mehreren nacheinander geschalteten Stufen. Zunächst trainiert ein gemeinsamer Mix Mathematik, Wissenschaft, Logik, strukturierte Ausgabe, Text-zu-SQL und Chat. Danach verbessert RLHF die allgemeine Hilfsbereitschaft; eine kurze Phase kalibriert Identität und Wissensgrenzen. Weil RLHF die Mathematikleistung messbar verschlechterte, folgt abschließend ein eigenes Mathematiktraining, das verlorene Werte wiederherstellt und teilweise übertrifft. Diese Reihenfolge soll katastrophales Vergessen begrenzen.
Relevanz fĂĽr lokale und betriebliche KI
Granite 4.1 zeigt, wie weit sorgfältig trainierte dichte Modelle im Verhältnis zu größeren MoE-Systemen kommen können. Kleinere Varianten sind für lokale Inferenz, spezialisierte Assistenten und kontrollierte Unternehmensanwendungen attraktiv, sofern ihre Fähigkeiten im eigenen Kontext ausreichen. Das sehr lange Kontextfenster klingt überzeugend, verlangt aber viel Speicher und sagt allein nichts über die zuverlässige Nutzung entfernter Informationen aus. Praktische Tests sollten daher Genauigkeit, Latenz, Speicherbedarf und tatsächlich genutzte Kontextlänge gemeinsam messen.
Originalquelle: Hugging Face Blog – Granite 4.1 LLMs: How They’re Built
