Was ist passiert?
In einem am 5. August veröffentlichten Forschungsbericht wird eine Methode aus pädagogischen Tests verwendet, um zu messen, was KI-Sicherheitsbenchmarks erfassen, kleinere Sätze nützlicher Eingabeaufforderungen auszuwählen und Änderungen im Modellverhalten zu prüfen.
Zwei unabhängige Forscher und zwei mit dem UK AI Security Institute verbundene Forscher bewerteten 192 Chat-Modelle anhand von acht Benchmarks, die die Ablehnung schädlicher Anfragen, die übermäßige Ablehnung harmloser Anfragen, kontextbezogene Schäden und Wahrhaftigkeit umfassten. Die vollständige Suite enthielt vor der Vorverarbeitung 5.255 Eingabeaufforderungen. Die Analyse behielt 5.067 bei, nachdem nicht bewertete Antworten und Elemente entfernt wurden, die zwischen den getesteten Modellen keinen Unterschied machten.
Das Team behandelte Modelle als Testteilnehmer und Benchmark-Eingabeaufforderungen als Testitems und nutzte die Item-Response-Theorie, um abzuschätzen, welche Eingabeaufforderungen schwierig waren und welche Modelle am besten trennten. In der Hauptfaktoranalyse erklärte eine Drei-Faktor-Lösung – zusammengefasst als Ablehnungsstriktheit, Wahrhaftigkeit und kontextbezogener Schaden – 77 % der Variation in den Modellfähigkeiten, verglichen mit 47 % für einen einzelnen Faktor.
In 20 zurückgehaltenen Auswertungen stellten drei Tests mit jeweils 25 Eingabeaufforderungen diese drei Faktoren mit weniger als 2 % der Suite wieder her. Für HarmBench, SORRY-Bench und OR-Bench-Hard reproduzierten etwa 10 adaptiv ausgewählte Eingabeaufforderungen die vollständigen Benchmark-Rankings mit Korrelationen von 0,92 bis 0,94 und reduzierten die Anzahl der Eingabeaufforderungen um 97–99 %; Der Vorteil verringerte sich mit zunehmendem Testbudget.
Lesen Sie die Primärquelle: Rivera and colleagues' research paper on arXiv ↗
Warum es wichtig ist
Die Studie legt nahe, dass besser ausgewählte Eingabeaufforderungen häufige KI-Sicherheitsüberprüfungen billiger machen könnten, ohne so zu tun, als würde jeder Benchmark einen universellen Sicherheitswert messen.
Durch günstigere Tests könnten Entwickler, kleine Labore und unabhängige Gutachter mehr Modellversionen während des Trainings, der Feinabstimmung, Quantisierung und systembedingten Änderungen überprüfen. Das Ergebnis besteht darin, vorhandene Benchmark-Messungen effizient zu reproduzieren und nicht zu erweitern, was diese Benchmarks erkennen können.
Die Faktorenanalyse deckt auch einen Bewertungskompromiss auf. Benchmarks, die Ablehnung belohnen, können sich überschneiden, während ein Benchmark zur Vermeidung unnötiger Ablehnungen das gegenteilige Verhalten belohnt. Eine Mittelung ohne Erläuterung der Gewichte kann darüber hinwegtäuschen, ob ein Modell sicherer, lediglich restriktiver oder bei harmlosen Anforderungen weniger nützlich geworden ist.
Das Papier testete auch Black-Box-Prüfungsmethoden für absichtlich veranlasstes Sandbagging-Verhalten. Eine Überprüfung des Reaktionsmusters ergab eine selektive Minderleistung, übersah jedoch die meisten einheitlichen Minderleistungen; Das Hinzufügen einer historischen Fähigkeitsüberprüfung erhöhte die kombinierte Erkennung in den simulierten Fällen auf 94–97 %. Dadurch werden mehrschichtige Prüfungen unterstützt, anstatt sich auf eine einzige Bewertung zu verlassen.
Was Sie als nächstes sehen sollten
Achten Sie auf unabhängige Replikation, Validierung für zukünftige Modellfamilien und Beweise dafür, dass verkürzte Tests ein Verhalten außerhalb der Benchmarks vorhersagen, für deren Reproduktion sie entwickelt wurden.
Dies ist ein neuer Vorabdruck, kein abgeschlossenes Peer-Review-Urteil. Bei der Analyse der latenten Struktur wurden 134 Modelle verwendet, was den Autoren zufolge im Vergleich zu herkömmlichen psychometrischen Maßstäben klein ist, und eine alternative Extraktionsmethode behielt zwei statt drei Faktoren bei. Bei den Faktornamen handelt es sich um empirische Zusammenfassungen und nicht um validierte Definitionen der Sicherheit.
Jedes Modell erzeugte über OpenRouter eine Antwort pro verfügbarer Eingabeaufforderung, und jeder Benchmark verwendete seinen vorgeschriebenen automatisierten Richter. Die daraus resultierenden Kurztests können Mängel in den ursprünglichen Eingabeaufforderungen, Bewertungsregeln, der Sprachabdeckung und den Richtern aufweisen; Die Autoren weisen ausdrücklich darauf hin, dass die Komprimierung nicht zeigt, dass ein Benchmark die Einsatzsicherheit vorhersagt oder für zukünftige Modelle informativ bleibt.
Bei den Sandbagging-Tests wurden Modellorganismen als Anreiz verwendet und nicht Modelle, die so optimiert wurden, dass sie sich einer Auswertung entziehen und möglicherweise leichter zu erkennen sind. Die API-Prüfungen stellen die Verhaltenskontinuität fest, nicht die Identität versteckter Modellgewichte, und in der Studie wurde kein Angreifer getestet, der speziell darauf trainiert wurde, die Prüfmethoden zu umgehen.
