NVIDIA Kumo Tabular: Vorhersagen direkt aus Tabellen
💡 Quellen-Hinweis: Dieser Beitrag ist eine redaktionelle Zusammenfassung basierend auf einem Originalbericht von Hugging Face Blog.
NVIDIA veröffentlicht mit Kumo Tabular ein offenes Foundation-Modell für tabellarische Daten. Statt für jede Klassifikations- oder Regressionsaufgabe ein Modell neu zu trainieren, soll es aus bereits gelabelten Tabellenzeilen im Kontext direkt Vorhersagen für neue Zeilen ableiten. Das richtet sich an typische Unternehmensdaten wie Transaktionen, Kundendaten, Sensormessungen oder Vorgänge.
In-Context Learning für Tabellen
Kumo Tabular verarbeitet numerische und kategorische Spalten in einem Vorwärtsdurchlauf. Die Modelle gibt es mit 28 bis 215 Millionen Parametern; laut NVIDIA sind weder Fine-Tuning noch manuelles Feature Engineering erforderlich. Die offene Bibliothek übernimmt Vorverarbeitung und weitere Funktionen. Die Gewichte stehen unter der kommerziell nutzbaren OpenMDW-1.1-Lizenz bereit.
Technisch nutzt das Modell Transformer-Mechanismen für Spalten, Zeilen und den Kontext gelabelter Beispiele. Zellen werden in Tokens überführt, Aufmerksamkeit innerhalb von Spalten und Zeilen modelliert ihre Bedeutung und Wechselwirkung. Ein abschließender Transformer verbindet Kontext- mit Abfragezeilen. Für Regression liefert das Modell Quantile, aus denen sich Punktprognose und Unsicherheit ableiten lassen.
Synthetische Tabellen als Trainingsbasis
Bemerkenswert ist der Trainingsansatz: Kumo Tabular wurde vollständig mit künstlich erzeugten Tabellen vortrainiert. Ein prozeduraler Generator bildet dabei kausale Strukturen, fehlende Werte, kategorische Spalten, Ausreißer und schwer vorhersehbare Zielwerte nach. Die drei Größen sahen nach Angaben des Beitrags etwa 35, 71 beziehungsweise 137 Millionen künstliche Tabellen.
Starke Benchmarks, klare Grenzen
NVIDIA berichtet Spitzenplätze auf TabArena, BeyondArena, TALENT und ScoringBench. Auf TabArena wird ein ELO von 1950 genannt; die Angaben beruhen auf den eigenen Auswertungen und sollten vor einer Beschaffungsentscheidung unabhängig geprüft werden. Tabellendaten außerhalb der Trainingsbereiche oder mit Verteilungsverschiebungen können die Güte beeinträchtigen.
Für Teams kann der Ansatz Prototypen und Standardaufgaben beschleunigen. Text, Bilder und Zeitstempel müssen jedoch zunächst in geeignete Merkmale überführt werden. Vor Produktionseinsatz sind Tests auf eigenen Holdout-Daten, Kalibrierung, Datenschutz und die fachliche Nachvollziehbarkeit jeder Vorhersage erforderlich.
Originalquelle: Hugging Face Blog – NVIDIA Kumo Tabular Sets a New Accuracy-Efficiency Frontier for Tabular Prediction
