Differential Transformer V2 soll KI-Training stabiler machen
đź’ˇ Quellen-Hinweis: Dieser Beitrag ist eine redaktionelle Zusammenfassung basierend auf einem Originalbericht von Hugging Face Blog.
Microsoft Research beschreibt mit Differential Transformer V2 eine überarbeitete Attention-Architektur für grosse Sprachmodelle. Ihr Kernprinzip: Zwei zusammengehörige Aufmerksamkeitsköpfe werden voneinander abgezogen, wobei ein lernbarer Faktor die Stärke der Subtraktion steuert. Relevante Signale sollen dadurch besser von gemeinsamem Hintergrundrauschen getrennt werden. Gegenüber der ersten Version zielt V2 besonders auf höhere Trainingsstabilität und eine einfachere, schnellere Implementierung.
Gemeinsamer KV-Cache statt Spezialkernel
DIFF V2 verdoppelt die Zahl der Query-Heads, lässt die Zahl der Key-Value-Heads jedoch unverändert. Je zwei benachbarte Query-Heads innerhalb derselben Grouped-Query-Attention-Gruppe teilen sich Keys und Values; ihre Ergebnisse werden anschliessend differenziell kombiniert. Dadurch wächst der für die Dekodierung wichtige KV-Cache nicht. Da Query, Key und Value dieselbe Head-Dimension verwenden, kann die Architektur gewöhnliche FlashAttention-Funktionen nutzen und benötigt keinen eigenen Attention-Kernel.
Das ist praktisch relevant, weil die Token-Erzeugung grosser Modelle häufig durch Speicherbandbreite begrenzt wird. Nach Angaben der Autoren erreicht V2 deshalb eine Dekodiergeschwindigkeit auf dem Niveau eines Standard-Transformers. Auch beim Pretraining auf aktuellen H- und B-GPUs sei der Durchsatzverlust gering. Zudem kann die explizite Differentialoperation ungefähr ein Viertel der Parameter im Attention-Modul einsparen, wenn das frei gewordene Budget nicht anderweitig eingesetzt wird.
Weniger Ausreisser und Gradientenspitzen
Eine wichtige Änderung betrifft die Skalierung. DIFF V1 nutzte pro Head eine RMS-Normalisierung, die bei breit verteilter Attention sehr kleine Kontextvektoren stark vergrössern konnte. Bei langen Sequenzen führte das laut Bericht zu massiven Gradienten und numerischer Instabilität. V2 entfernt diese Normalisierung und projiziert stattdessen für jedes Token und jeden Head einen durch Sigmoid begrenzten Lambda-Faktor. So kann die Kontextstärke bis nahe null sinken, ohne nach oben unbeschränkt zu werden. Das soll auch sogenannte Attention Sinks reduzieren.
Vielversprechend, aber noch kein Endergebnis
In laufenden Produktionsmassstab-Experimenten mit dichten Modellen und einem Mixture-of-Experts-Modell auf Billionen Tokens melden die Forscher einen um 0,02 bis 0,03 niedrigeren Language-Modeling-Loss nach einer Billion Tokens, weniger Loss- und Gradientenspitzen sowie kleinere Aktivierungsausreisser. Diese Resultate sind vorläufig; Tests zur späteren Lernphase und zu langen Kontexten stehen noch aus. Für Modellbauer ist der Ansatz dennoch interessant, weil er nicht nur Qualität verspricht, sondern bestehende schnelle Kernel und übliche Inferenzpfade beibehält.
Originalquelle: Hugging Face Blog – Differential Transformer V2
