Physik-Optimierung soll große Sprachmodelle effizienter komprimieren
💡 Quellen-Hinweis: Dieser Beitrag ist eine redaktionelle Zusammenfassung basierend auf einem Originalbericht von Hugging Face Blog.
Das Entfernen kompletter Transformer-Blöcke kann große Sprachmodelle schneller und speichersparender machen. Welche Blöcke dabei entfallen dürfen, ist aber keine einfache Rangliste: Die Wirkung einer Entfernung hängt von den anderen entfernten Schichten ab. Multiverse Computing beschreibt nun einen Ansatz, der diese Wechselwirkungen als Ising-Optimierungsproblem modelliert.
Von Schichten zu gekoppelten Variablen
Jeder Transformer-Block wird als binäre Entscheidung behandelt: behalten oder entfernen. Eine Taylor-Näherung der Verlustfunktion liefert dabei eine Hessian-Matrix. Ihre Diagonale beschreibt die Bedeutung einzelner Blöcke, die Nebendiagonalen erfassen paarweise Kopplungen. Gesucht wird dann eine feste Zahl zu entfernender Blöcke mit minimaler Energie. Laut Beitrag ist diese Energie ein günstiger Indikator für die spätere Modellqualität und muss nur einmal auf einem kleinen Kalibrierungsdatensatz berechnet werden.
Viele Kandidaten ohne Benchmark-Lauf
Danach lassen sich sehr viele Konfigurationen per Energieformel vergleichen, ohne das Modell jeweils auszuführen. Kleinere Suchräume wurden auf einer GPU vollständig durchsucht; für größere Fälle kommen klassische, Quanten- und quanteninspirierte Verfahren wie Tabu Search oder QAOA infrage. Wichtig ist dabei nicht zwingend der globale Tiefpunkt: Auch mehrere energiearme Zustände können gute Kandidaten sein. Bei Llama-3.1-8B-Instruct übertraf in einem Beispiel nach leichtem Retraining sogar ein angeregter Zustand die beste Grundzustands-Konfiguration.
Stärken bei starker Kompression
Für Llama-3.3-70B-Instruct meldet Multiverse bei 40 entfernten von 80 Blöcken ohne Retraining 76,9 MMLU-Punkte, gegenüber 54,0 für die verglichene Block-Influence-Methode. Auch auf Qwen3-14B und einer hybriden NVIDIA-Nemotron-Architektur wurden Vorteile berichtet, besonders bei tiefer Kompression. Die Resultate stammen vom Anbieter und sollten in eigenen Workloads geprüft werden. Praktisch ist der Ansatz interessant, weil er sich mit Quantisierung, Low-Rank-Kompression und weiteren Verfahren kombinieren lässt. Der zugehörige Code ist laut Beitrag offen verfügbar.
Originalquelle: Hugging Face Blog – Pruning LLMs Like a Physicist: Block Removal as an Ising Optimization Problem
