Inkling: Offenes multimodales KI-Modell mit einer Billion Parametern
đź’ˇ Quellen-Hinweis: Dieser Beitrag ist eine redaktionelle Zusammenfassung basierend auf einem Originalbericht von Hugging Face Blog.
Thinking Machines veröffentlicht mit Inkling ein ungewöhnlich grosses offenes KI-Modell, das Text, Bilder und Audio nativ verarbeitet. Das Modell besitzt rund 975 Milliarden Parameter, von denen dank einer sparsamen Mixture-of-Experts-Architektur jeweils nur etwa 41 Milliarden aktiv sind. Ergänzend gibt es Inkling-Small mit 276 Milliarden Gesamt- und 12 Milliarden aktiven Parametern.
Multimodalität und eine Million Token Kontext
Inkling wurde laut Hugging Face auf 45 Billionen Token aus Texten, Bildern, Audio und Video trainiert. Das Kontextfenster umfasst bis zu eine Million Token. Die Decoder-only-Architektur kombiniert 256 Experten, relative Positionsinformationen sowie globale und gleitende Aufmerksamkeit im Verhältnis fünf zu eins. Eine kurze eindimensionale Faltung verarbeitet zusätzlich lokale Zusammenhänge, damit Aufmerksamkeits- und MoE-Schichten entlastet werden.
Für Bilder nutzt das Modell einen hierarchischen MLP-Patchifier. Audio wird in 100-Millisekunden-Abschnitte zerlegt, auf die Mel-Skala übertragen und diskretisiert. Die vergleichsweise einfachen Medienmodule liefern gemeinsame Eingaben für das Sprachmodell. Damit ist Inkling insbesondere für Anwendungen interessant, die über mehrere Modalitäten hinweg schlussfolgern oder später per Fine-Tuning an eine Domäne angepasst werden sollen.
Offen, aber keineswegs leichtgewichtig
Die vollständige BF16-Version benötigt ungefähr zwei Terabyte VRAM; selbst die NVFP4-Variante verlangt rund 600 Gigabyte. Lokaler Betrieb ist daher primär ein Thema für GPU-Cluster. Quantisierte GGUF-Versionen und llama.cpp senken die Einstiegshürde, gehen jedoch mit deutlichen Kompromissen einher. Für produktive Installationen stehen SGLang und vLLM bereit, zudem unterstützt Transformers das Modell vom ersten Tag an.
Mehrere Inferenzwege sind vorgesehen: direkt ĂĽber Transformers, als OpenAI-kompatibler Dienst mit vLLM oder SGLang sowie ĂĽber Hugging Face Inference Providers. Die kleinere Variante dĂĽrfte fĂĽr mehr Organisationen relevant sein, bleibt mit 276 Milliarden Parametern aber ebenfalls anspruchsvoll.
Einordnung fĂĽr die Praxis
Inkling zeigt, wohin offene multimodale Modelle technisch gehen: lange Kontexte, native Medienverarbeitung und agentische Funktionen in einer gemeinsamen Architektur. Offene Gewichte bedeuten hier nicht automatisch einfache Selbsthosting-Kosten. Unternehmen müssen Speicherbedarf, Netzwerk, Parallelisierung und KV-Cache sorgfältig planen. Der eigentliche Nutzen liegt deshalb zunächst bei Forschung, spezialisierten Plattformanbietern und Teams mit eigener Hochleistungsinfrastruktur.
Originalquelle: Hugging Face Blog – Welcome Inkling by Thinking Machines
