LLM-Inferenz beschleunigen: Prefill und Decode unter Last
Wer Sprachmodelle selbst betreibt, muss nicht nur Modellqualität, sondern auch Inferenz-Performance steuern.
Hardware
IT Infrastruktur
KI
Hardware
IT Infrastruktur
KI
olmOCR feinjustiert: Vollständigere Dokumentenerfassung mit KI
TNG Technology berichtet über ein Fine-Tuning von olmOCR , das bei Geschäftsdokumenten vollständiger lesen soll.
Browser
Cloud
KI
OlmoEarth 1.3: KI-Embeddings für globale Erdbeobachtung
Mit OlmoEarth v1.3 veröffentlicht das Allen Institute for AI ein offenes Modell für Satelliten-Embeddings samt…
IT Infrastruktur
KI
RL-Training für KI-Agenten: Datenbankzustände werden zum Zuverlässigkeits-Test
Microsoft und Hugging Face zeigen mit ThinkingBox-Training , wie sich die Zuverlässigkeit von KI-Agenten gezielter…
Hardware
KI
Mobile APPs
tado°: KI-gestützte Fenster-Offen-Erkennung und neuer Schimmelindex
tado° erweitert sein smartes Heizsystem um mehrere Funktionen für die App. Im Mittelpunkt stehen eine…
Hardware
KI
OS
PyTorch 2.15: Apple-Macs erhalten schnellere KI-Inferenz und FP8
PyTorch 2.15 bringt umfangreiche Verbesserungen für den MPS-Backend auf Apple-Silicon-Macs. Im Mittelpunkt stehen schnelleres Decoding…
Cloud
IT Infrastruktur
KI
IBM Granite Speech 5: Mehr Tempo und Präzision für Spracherkennung
IBM aktualisiert seine Granite-Speech -Familie für Transkription, Übersetzung und Sprecherzuordnung. Die drei Modelle adressieren unterschiedliche.
Hardware
IT Infrastruktur
KI
NVIDIA Kumo: KI-Modell prognostiziert direkt aus relationalen Datenbanken
NVIDIA stellt mit Kumo Relational ein vortrainiertes Modell für relationale Unternehmensdaten vor. Anders als klassische…
KI
FairStress prüft, wie fair KI unter Druck entscheidet
Mit FairStress veröffentlicht Ai2 einen Benchmark, der die Fairness großer Sprachmodelle über die erste Antwort…
Hardware
KI
NVIDIAs KI-Simulator bringt chirurgische Szenen in Echtzeit
NVIDIA stellt mit Cosmos3-H-Dreams einen Forschungssimulator vor, der chirurgische Szenen nicht klassisch berechnet, sondern als…
