FLUX.2 in Diffusers: Neue Bild-KI zwischen 80 GB und cleverem Offloading
💡 Quellen-Hinweis: Dieser Beitrag ist eine redaktionelle Zusammenfassung basierend auf einem Originalbericht von Hugging Face Blog.
Black Forest Labs hat FLUX.2 als vollständig neu vortrainierte Modellfamilie für Bildgenerierung und Bildbearbeitung vorgestellt. Hugging Face integriert sie in Diffusers und macht zugleich klar: FLUX.2 ist kein direkter Ersatz für FLUX.1. Das Modell unterstützt Text-zu-Bild, bildgeführte Erzeugung und bis zu zehn Referenzbilder, verlangt in seiner vollständigen Form jedoch erhebliche Hardware-Ressourcen.
Neue Architektur und präzisere Steuerung
Statt zweier Textencoder nutzt FLUX.2 den einzelnen Encoder Mistral Small 3.1 mit bis zu 512 Tokens. Prompt-Repräsentationen werden aus mehreren Zwischenschichten kombiniert. Der Diffusion Transformer folgt weiterhin dem MM-DiT-Prinzip, verschiebt den Schwerpunkt aber deutlich auf parallele Single-Stream-Blöcke: Das 32-Milliarden-Parameter-Modell verwendet 8 Double-Stream- und 48 Single-Stream-Blöcke. Geteilte Modulationsparameter, bias-freie Layer sowie zusammengeführte Attention- und Feedforward-Projektionen verändern den Aufbau zusätzlich.
Für Kreativ-Workflows interessant sind mehrere Referenzbilder, strukturierte JSON-Prompts und eine präzise Farbsteuerung über Hex-Werte. Objekte können per Bildnummer und natürlicher Beschreibung angesprochen werden. Damit lassen sich einzelne Attribute ändern, während Komposition oder Motivbezüge möglichst erhalten bleiben – ein praktischer Schritt in Richtung kontrollierbarer Bildbearbeitung.
Von über 80 GB bis zur kleineren GPU
Ohne Auslagerung benötigt die Kombination aus grossem DiT und Textencoder mehr als 80 GB VRAM. Selbst CPU-Offloading kam im gezeigten H100-Test auf rund 62 GB. Hugging Face demonstriert deshalb mehrere Abstufungen: Eine 4-Bit-NF4-Quantisierung über bitsandbytes ermöglicht lokale Inferenz mit ungefähr 20 GB freiem VRAM. Wird der Textencoder als entfernter Dienst betrieben, sinkt der lokale Bedarf auf etwa 18 GB. Group Offloading soll sogar mit 8 GB freiem VRAM funktionieren, benötigt standardmässig aber rund 32 GB RAM.
LoRA-Training bleibt anspruchsvoll
Auch LoRA-Fine-Tuning ist möglich, bleibt wegen der Modellgrösse jedoch hardwareintensiv. Vorgeschlagen werden kombinierbare Techniken wie Remote Text Encoder, CPU-Offloading, Latent Caching, Gradient Checkpointing, 8-Bit-Adam sowie FP8- oder NF4-Training. FP8 setzt eine ausreichend neue CUDA-GPU voraus; NF4 bietet eine Alternative über bitsandbytes.
Für Anwender ist FLUX.2 damit vor allem ein leistungsfähiges, aber nicht leichtgewichtiges Werkzeug. Diffusers senkt die Einstiegshürde durch modulare Speicherstrategien deutlich. Wer es produktiv einsetzen will, sollte Bildqualität, Laufzeit, RAM und VRAM gemeinsam kalkulieren – und nicht allein auf die nominelle GPU-Speichergrösse schauen.
Originalquelle: Hugging Face Blog – Diffusers welcomes FLUX-2
