Public AI wird Inference Provider bei Hugging Face
💡 Quellen-Hinweis: Dieser Beitrag ist eine redaktionelle Zusammenfassung basierend auf einem Originalbericht von Hugging Face Blog.
Hugging Face hat Public AI als weiteren Inference Provider in seinen Hub aufgenommen. Damit können Modelle öffentlicher und souveräner KI-Initiativen über die bestehenden Modellseiten und Client-SDKs angesprochen werden. Genannt werden unter anderem Angebote der Swiss AI Initiative und AI Singapore.
Serverlose Inferenz aus dem Hub
Inference Provider binden externe Rechenangebote direkt in die Hub-Oberfläche sowie die JavaScript- und Python-Clients ein. Public AI betreibt nach eigenen Angaben eine verteilte Plattform mit vLLM-Backend, mehreren Partner-Clustern und globalem Load Balancing. Die Server stellen OpenAI-kompatible Schnittstellen bereit; die Routing-Schicht soll Anfragen transparent an verfügbare Rechenkapazität weiterleiten.
Zwei Wege zur Abrechnung
Nutzende können im Hugging-Face-Konto eine eigene Schlüsselverbindung zum Provider hinterlegen oder Anfragen über Hugging Face routen lassen. Im ersten Fall rechnet der Provider direkt ab, im zweiten werden die üblichen Providerpreise über das Hugging-Face-Konto durchgereicht. Für Public AI war die Nutzung über diesen Weg zum Zeitpunkt des Beitrags kostenlos; Verfügbarkeit und Preise können sich laut Ankündigung ändern.
Praktischer Anschluss für Entwickler
Im Python-SDK wird der Provider über den Parameter provider=“publicai“ gewählt, in JavaScript entsprechend beim Chat-Aufruf. Voraussetzung ist bei Python eine aktuelle Version von huggingface_hub; der Beitrag nennt mindestens 0.34.6. Dadurch können Teams die Provider-Auswahl näher an ihren bestehenden Modellcode bringen, statt eine separate API-Integration aufzubauen.
Die Integration erweitert die Auswahl für Anwendungen, die auf öffentlich getragene oder nationale KI-Infrastruktur setzen möchten. Entscheidend bleiben dennoch Modellverfügbarkeit, Datenschutz, Region, Latenz und die langfristige Finanzierung des Dienstes. Für produktive Anwendungen empfiehlt sich daher ein eigener Last- und Ausfalltest, bevor ein Anbieter fest in eine Anwendung eingebunden wird.
Originalquelle: Hugging Face Blog – Public AI on Hugging Face Inference Providers 🔥
