Waypoint-1 erzeugt interaktive KI-Welten in Echtzeit
đź’ˇ Quellen-Hinweis: Dieser Beitrag ist eine redaktionelle Zusammenfassung basierend auf einem Originalbericht von Hugging Face Blog.
Mit Waypoint-1 stellt Overworld ein Video-Diffusionsmodell vor, das nicht nur Bildfolgen erzeugt, sondern auf Eingaben per Text, Maus und Tastatur reagieren soll. Aus einigen Startbildern entsteht eine begehbare virtuelle Umgebung, deren nächste Frames fortlaufend anhand der aktuellen Steuerbefehle berechnet werden. Anders als viele nachträglich für Interaktion angepasste Videomodelle wurde Waypoint-1 laut Entwicklerteam von Beginn an für steuerbare Erlebnisse trainiert.
Training fĂĽr fortlaufende Interaktion
Die technische Basis bildet ein frame-kausaler Rectified-Flow-Transformer, trainiert mit 10.000 Stunden unterschiedlicher Videospielaufnahmen samt Steuerdaten und Textbeschreibungen. Das Modell arbeitet im komprimierten Latentraum. Beim sogenannten Diffusion Forcing lernt es, zukĂĽnftige Frames aus bereits bekannten Bildern zu entrauschen. Eine kausale Aufmerksamkeitsmaske verhindert dabei, dass ein Frame auf zukĂĽnftige Informationen zugreift.
Weil zufällig verrauschte Trainingsframes nicht vollständig dem schrittweisen Einsatz entsprechen, folgt ein Post-Training mit Self Forcing. Dieses Verfahren richtet das Training stärker am späteren Rollout aus und soll verhindern, dass sich kleine Fehler über lange Sequenzen aufsummieren. Zugleich ermöglicht es wenige Entrauschungsschritte und eine effizientere Classifier-Free Guidance.
WorldEngine bringt das Modell auf Verbraucher-Hardware
Für die praktische Nutzung veröffentlicht Overworld die Python-Bibliothek WorldEngine. Sie nimmt Kontextbilder, Eingaben und Prompts entgegen und liefert kontinuierlich neue Frames. Für Waypoint-1-Small mit 2,3 Milliarden Parametern nennt das Team auf einer GeForce RTX 5090 rund 30 Bilder pro Sekunde bei vier beziehungsweise 60 Bilder pro Sekunde bei zwei Denoising-Schritten. Möglich werden diese Werte unter anderem durch AdaLN-Caching, einen rollierenden KV-Cache mit Flex Attention, zusammengeführte Matrixoperationen und torch.compile.
Einordnung: Weltmodelle werden programmierbar
Waypoint-1 zeigt, wie sich generative Videos von passiven Clips zu interaktiven Simulationen entwickeln können. Das ist für Spieleprototypen, virtuelle Trainingsumgebungen und agentenbasierte Forschung interessant. Die präsentierten Leistungswerte stammen allerdings vom Anbieter und beziehen sich auf eine leistungsstarke aktuelle GPU. Entscheidend wird sein, wie stabil die Welten über längere Zeit bleiben, wie präzise Eingaben umgesetzt werden und ob Entwickler die Technik außerhalb demonstrierter Szenarien zuverlässig einsetzen können. Die Gewichte von Waypoint-1-Small und die Inferenzbibliothek stehen über Hugging Face beziehungsweise GitHub bereit.
Originalquelle: Hugging Face Blog – Introducing Waypoint-1: Real-time interactive video diffusion from Overworld
