Wie verlässlich beurteilen Sprachmodelle neue Forschungsideen?
💡 Quellen-Hinweis: Dieser Beitrag ist eine redaktionelle Zusammenfassung basierend auf einem Originalbericht von Hugging Face Blog.
Kann ein Sprachmodell zuverlässig erkennen, ob eine wissenschaftliche Idee wirklich neu ist? Eine Studie von Ai2 beantwortet diese Frage mit deutlicher Vorsicht. Mit Paper, Daten, Code und einem Benchmark untersucht das Team, wie stabil sogenannte Novelty Judges arbeiten – also Modelle, die Forschungsansätze im Vergleich zur vorhandenen Literatur bewerten sollen.
Benchmark aus nachvollziehbaren Review-Signalen
Für die Evaluation wurden ICLR-2026-Reviews ausgewertet, nicht bloß Annahmen oder Ablehnungen von Papers. Daraus entstand ein Pool mit 154 menschlich verfassten Ideen aus hoch bewerteten Arbeiten, deren Originalität von Reviewern positiv hervorgehoben wurde. Ein zweiter Pool mit 145 Ideen enthielt abgelehnte Arbeiten mit dokumentierten Neuheitsbedenken. Zusätzlich verglich das Team die validierten menschlichen Ideen mit 154 einfachen, KI-generierten Vorschlägen.
Kleine Prompt-Änderung, stark anderes Urteil
Getestet wurden sechs LLMs sowie unterschiedliche Bewertungsformen, Recherchezugriff und Denkbudgets. Das auffälligste Ergebnis: Die Formulierung des Prompts kann die Entscheidung massiv verschieben. Bei GPT-5.4 sank die Treffergenauigkeit in einem Vergleich von 93,5 auf 40,9 Prozent, wenn eine präzisierende Annahme im Prompt entfiel. Mehr als die Hälfte der Urteile über dieselben Ideen änderte sich. Auch bei ausschließlich menschlichen Ideen zeigten sich deutliche, wenn auch geringere Verschiebungen.
Mehr Recherche ist keine Garantie
Zusätzliche Suche und längeres Nachdenken lieferten ebenfalls keine verlässlich besseren Resultate. Ein agentisches Setup mit iterativer arXiv-Suche lag laut Studie beim Macro-F1 hinter einer einfacheren Claude-Opus-4.6-Konfiguration, verursachte aber etwa zehnmal höhere Kosten. Zwei speziell entwickelte Prüfsysteme schnitten in diesem Vergleich ebenfalls schlechter ab als ein einfacher Prompt mit Mehrheitsentscheid über drei Durchläufe.
Für Forschungsteams ist das ein praktischer Hinweis: KI kann bei der Vorsortierung helfen, sollte aber keine alleinige Instanz für Originalitätsurteile sein. Bewertungsverfahren müssen an den späteren Einsatzfall angepasst und auf Prompt-Sensitivität getestet werden. Der veröffentlichte Benchmark macht diese Schwankungen messbarer – und zeigt zugleich, dass automatisierte Ideenfindung ohne robuste Qualitätskontrolle riskant bleibt.
Originalquelle: Hugging Face Blog – Can we trust LLMs to judge whether a research idea is novel?
