Was ist passiert?
Ein am 29. Juli 2026 auf arXiv veröffentlichter und am 7. August überarbeiteter Vorabdruck schlägt eine neue Möglichkeit vor, den Fortschritt in der automatisierten KI-Forschung zu messen: Geben Sie einem Agenten die zentrale offene Frage einer hochwertigen, unveröffentlichten Arbeit und lassen Sie die Ergebnisse von den Originalautoren dieser Arbeit bewerten. In zwei Versuchen führten Grenzagenten die Konstruktion ohne menschliche Hilfe durch, wurden jedoch von den menschlichen Bewertern abgelehnt, und die Autoren identifizierten fünf wiederkehrende Fehlermodi.
In einem Preprint auf arXiv, eingereicht am 29. Juli 2026 und überarbeitet am 7. August 2026, wird die Frage gestellt, ob KI-Agenten ergebnisoffene KI-Forschung durchführen können. Es umfasst 24 gelistete Autoren, darunter Peter Kirgis, Sayash Kapoor, Helen Toner, Gillian Hadfield, Seth Lazar, Rishi Bommasani und Arvind Narayanan, und ist in den Kategorien Künstliche Intelligenz, Computer und Gesellschaft sowie maschinelles Lernen abgelegt. Sein zentraler Beitrag ist eine Messmethode, die die Autoren als „Schattenbewertung“ bezeichnen: Einem Agenten wird die zentrale, offene Forschungsfrage einer qualitativ hochwertigen, aber unveröffentlichten Arbeit gestellt, und die ursprünglichen Autoren der Arbeit bewerten dann, was der Agent produziert.
Die Autoren positionieren dies als dritte Option zwischen zwei bestehenden Ansätzen, die sie als unzureichend bezeichnen. Aktuelle Agentenbewertungen, schreiben sie, testen Agenten entweder anhand enger, überprüfbarer Aufgaben – was konstruktionsbedingt offene Forschung ausschließt – oder unterziehen KI-generierte Arbeiten einer blinden Begutachtung durch Fachkollegen, die sie als überfordert, stochastisch und unter schlechter Bewertungsqualität leidend charakterisieren. Bei Schattenbewertungen werden stattdessen Personen als Bewerter eingesetzt, die das Problem, seine Literatur und seine Fallstricke bereits kennen, da sie eine unveröffentlichte Antwort haben, mit der sie vergleichen können.
Das Team führte die Methode an zwei unveröffentlichten Einreichungen bei NeurIPS 2026 durch. Der Zusammenfassung zufolge erhielten Frontier-Agenten sechs Tage und Tausende von Dollar an Rechenleistung pro Versuch. Die Agenten erledigten das gesamte Engineering ohne menschliche Hilfe – den Code, die Experimente, die Infrastruktur –, konnten jedoch keine wesentlichen Fortschritte bei der Beantwortung der Forschungsfragen selbst erzielen. Beide daraus resultierenden Arbeiten wurden nach Aussage der Autoren von den Originalautoren, die als Gutachter fungierten, eindeutig abgelehnt.
Aus den Transkripten extrahieren die Autoren fünf wiederkehrende Fehlermodi: schlechtes Urteil über die Messlatte für veröffentlichungsfähige Forschung; unkreative Reaktionen auf Mängel im Forschungsdesign; ineffektiver Rückzug aus Sackgassen; schlechtes Ressourcenbewusstsein; und Anweisungsdrift. Sie berichten, dass eine Robustheitsprüfung mit einem zweiten Modell und einem zweiten Gerüst dieselben Fehler reproduzierte, was dagegen spricht, dass es sich bei dem Ergebnis um ein Artefakt eines bestimmten Systems oder Kabelbaums handelt. Das Team gibt bekannt, dass es Expertenbewertungen, Umfrageantworten, Agenten-Repositorys und Protokolle veröffentlicht.
Mehrere Dinge, die in der Zusammenfassung nicht dargelegt werden, sind es wert, klar dargelegt zu werden. Welche Agenten, Modelle oder Scaffolds verwendet wurden, wird nicht genannt, auch nicht das zweite System im Robustheitscheck. Es werden weder die beiden NeurIPS-Einreichungen oder deren Unterfelder identifiziert, noch eine genaue Berechnungszahl angegeben, die über „Tausende von Dollar“ hinausgeht, die Bewertungsrubrik beschrieben oder angegeben, ob die Bewerter blind für die Tatsache waren, dass sie die Agentenleistung überprüften. Bei der Arbeit handelt es sich um einen Vorabdruck; Nichts in der Quelle weist darauf hin, dass die Peer-Review abgeschlossen wurde. Und die Stichprobe besteht aus zwei Forschungsfragen, die von den Personen bewertet wurden, die sie gestellt haben.
Lesen Sie die Primärquelle: arxiv.org ↗
Warum es wichtig ist
Argumente dafür, dass sich der KI-Fortschritt stark beschleunigen wird, basieren auf der Annahme, dass KI-Systeme die KI-Forschung selbst übernehmen können. Dies ist ein direkter, wenn auch kleiner Beweis dafür, dass die Prämisse noch nicht zutrifft, und es trennt den Teil, den Agenten bereits tun können – die Umsetzung – von den Teilen, die sie nicht tun können: beurteilen, was es wert ist, veröffentlicht zu werden, eine fehlerhafte Studie neu zu gestalten und Sackgassen zu überwinden.
Der Rahmen des Papiers geht direkt von einer tragenden Annahme in aktuellen KI-Prognosen aus. Wie es in der Zusammenfassung heißt, hängen Prognosen über explosive KI-Fortschritte davon ab, dass KI-Agenten die KI-Forschung automatisieren – den Kreislauf, in dem bessere Systeme bessere Systeme aufbauen. Diese Schleife wird häufig behauptet und selten gemessen, da es sich bei der zu automatisierenden Sache genau um die Art von Arbeit handelt, die sich einem Bewertungsskript widersetzt. Eine Methode, die ein abgestuftes Urteil von arbeitenden Forschern zu einer aktuellen, unbeantworteten Frage liefert, ist eine direktere Überprüfung dieser Annahme als Benchmark-Ergebnisse für Aufgaben mit bekannten Antworten.
Das Ergebnis zeichnet eine Linie durch die Mitte des Auftrags und nicht darum herum. Agenten führten unbeaufsichtigt mehrtägige experimentelle Programme durch und produzierten funktionierenden Code und Ergebnisse – das ist eine echte Fähigkeit und eine bedeutende Veränderung im Vergleich zu vor ein paar Jahren. Was sie nicht getan haben, ist der Teil, der darüber entscheidet, ob Forschung es wert ist, veröffentlicht zu werden: zu erkennen, dass ein Ergebnis dürftig ist, einen Weg zu finden, einen Konstruktionsfehler zu umgehen und zu wissen, wann eine Angriffslinie tot ist. Für Teams, die entscheiden, wo Agenten in einer Forschungs- oder Engineering-Pipeline platziert werden sollen, ist diese Unterscheidung umsetzbarer als eine aggregierte Fähigkeitsbewertung.
Zwei der fünf Fehlermodi lassen sich weit über die Forschung hinaus verallgemeinern. Schlechtes Ressourcenbewusstsein – das Verbrennen eines festen Rechen- oder Zeitbudgets ohne Anpassung – und Anweisungsdrift, bei dem ein Agent nach und nach aufhört, das zu tun, was ihm aufgetragen wurde, sind wiederkehrende Probleme bei jeder langfristigen autonomen Bereitstellung, von mehrtägigen Codierungsagenten bis hin zur Betriebsautomatisierung. Die sechstägigen Läufe hier sind im Vergleich zu Bewertungsstandards ungewöhnlich lang, und bei langen Horizonten können sich diese Ausfälle genau verschärfen, bevor es irgendjemandem auffällt.
Die Einschränkungen sind real und die Autoren verbergen sie nicht. Zwei Fallstudien an einem Veranstaltungsort, die anhand einer Momentaufnahme von Modellen ausgewertet wurden, können keine Aussage darüber stützen, was Agenten im nächsten Jahr tun können. Dies ist ein Nullergebnis mit einem Zeitstempel. Auch die Frage, an der sie arbeiten möchten, ist für die bewertenden Autoren offensichtlich wichtig, und die Methode verbraucht sich teilweise selbst: Sobald eine Arbeit veröffentlicht ist, kann ihre Forschungsfrage nicht länger als unsichtbarer Test dienen. Die Veröffentlichung der Bewertungen, Repositories und Protokolle macht die Ergebnisse überprüfbar und stellt keinen Anspruch auf Vertrauen dar.
Was Sie als nächstes sehen sollten
Ob Schattenbewertungen in größerem Maßstab mit verblindeter, vorab registrierter Benotung wiederholt werden; ob neuere Agenten und Gerüste die Lücke schließen, wenn sie erneut mit den freigegebenen Repositorys und Protokollen ausgeführt werden; und ob die fünf Fehlermodi einer unabhängigen Prüfung und Peer-Review standhalten.
Zunächst gilt es zu beobachten, ob Schattenevaluationen zu einem wiederholbaren Instrument werden oder eine einmalige Demonstration bleiben. Das würde bedeuten, dass es mehr Arbeiten an mehr Veranstaltungsorten und Teilgebieten geben würde, vorab registrierte Bewertungsrubriken vereinbart würden, bevor der Agent läuft, und dass die Bewertung unabhängig davon wäre, ob die Ergebnisse von einem Agenten oder einem Menschen stammen. Es würde auch bedeuten, das Angebotsproblem anzugehen: Die Methode erfordert einen stetigen Fluss qualitativ hochwertiger unveröffentlichter Arbeiten, deren Autoren bereit sind, echten Review-Aufwand für den Versuch eines Agenten aufzuwenden.
Die zweite Frage ist, ob sich die Lücke schließt und wie schnell. Da die Agent-Repositorys und Protokolle freigegeben werden, können andere Gruppen neuere Modelle und Gerüste erneut anhand derselben beiden Forschungsfragen ausführen und direkt vergleichen. Achten Sie darauf, ob sich Verbesserungen als bessere Technik zeigen – was die Agenten bereits getan haben – oder als Bewegung bei den Beurteilungsfehlern, was der Teil ist, von dem das Papier sagt, dass er fehlt. Eine Wiederholung, die zu mehr Experimenten, aber derselben Ablehnung führt, wäre ein anderes Signal als eine, die zu einer Arbeit führt, die die ursprünglichen Autoren ernst nehmen.
Drittens: unabhängige Prüfung der freigegebenen Artefakte. Die fünf Fehlermodi sind die Lektüre der eigenen Transkripte durch die Autoren; Andere Forscher, die dieselben Protokolle lesen, kategorisieren die Ausfälle möglicherweise anders oder stellen fest, dass einige Fehler eher auf das Gerüst und die Eingabeaufforderung als auf die Modelle zurückzuführen sind. Ob der Preprint die Peer-Review besteht und ob seine Taxonomie den Kontakt mit den Bewertungen anderer Personen übersteht, wird darüber entscheiden, wie viel Gewicht er haben kann.
Schließlich die Aufnahme außerhalb der Forschungsgemeinschaft. Die Autorenliste umfasst Personen, die direkt an der KI-Governance und -Politik arbeiten, sowie Zeitpläne für automatisierte KI-Forschung und -Entwicklung, die in Grenzsicherheitsrahmen, Fähigkeitsschwellenwerte und nationale politische Debatten einfließen. Achten Sie darauf, ob diese Beweise in diesen Situationen zitiert werden und ob sie korrekt wiedergegeben werden: Das Papier besagt, dass heutige Agenten mit kritischen Teilen des Forschungslebenszyklus zu kämpfen haben, basierend auf zwei Fällen – nicht, dass sie niemals Forschung betreiben könnten, und auch nicht, dass die gezeigten technischen Fähigkeiten trivial wären.
