Was ist passiert?
Forscher führten ProbGuard in einem Preprint vom 11. August als Leitplanke ein, der die Wahrscheinlichkeit abschätzt, dass eine unvollständige Antwort eines Sprachmodells unsicher wird, und zwar anhand von Ausgabeverteilungen bereits aus den ersten 10 Dekodierungsschritten.
Die meisten Leitplanken klassifizieren Text, den ein Modell bereits erstellt hat. Stattdessen beobachtet ProbGuard die Wahrscheinlichkeiten, die den wahrscheinlich nächsten Token zugewiesen werden, während die Generierung noch beginnt. Bei jedem Schritt behält das System die 50 höchsten Token-Wahrscheinlichkeiten bei, konvertiert Tokenizer-spezifische Kandidaten in einen gemeinsamen Einbettungsraum und gewichtet diese Darstellungen nach Wahrscheinlichkeit. Die Autoren beschreiben das Design als architekturunabhängig, da es die verborgenen Zustände des geschützten Modells nicht liest, obwohl die Bereitstellung immer noch Zugriff auf Ausgabewahrscheinlichkeiten auf Token-Ebene erfordert, die viele geschlossene Modell-APIs nicht offenlegen.
Trainingsziele ergeben sich eher aus möglichen Zukünften als aus einer einzigen fertigen Antwort. Für jeden Zustand der frühen Generation untersuchten die Forscher 16 Fortsetzungen von bis zu 512 Token bei einer Temperatur von 1,0 und verwendeten einen separaten Klassifikator, CalibEval, um jede Fortsetzung als sicher oder unsicher zu kennzeichnen. Der als unsicher gekennzeichnete Bruchteil wurde zum geschätzten Risiko für dieses Präfix. ProbGuard wurde dann nachtrainiert, um diese Wahrscheinlichkeit direkt aus der ursprünglichen Eingabeaufforderung und der wahrscheinlichkeitsgewichteten Darstellung des Präfixes vorherzusagen.
Bei der Evaluierung wurden Llama 3 8B Instruct, Qwen3-8B und Gemma 2 9B Instruct als geschützte Modelle verwendet. Das Training kombinierte 3.000 deduplizierte schädliche Eingabeaufforderungen von PKU, WildGuard und SEval; Für die Auswertung wurden 1.000 zurückgehaltene Eingabeaufforderungen aus jedem Datensatz verwendet. Die Autoren verglichen ProbGuard mit 13 Konfidenz-, Leitplanken-, Streaming-Monitor- und Aktivierungssonde-Basislinien und maßen die Kalibrierung mit dem Brier-Score und dem erwarteten Kalibrierungsfehler über neun Modell-Datensatz-Kombinationen hinweg.
Bei einem 10-Token-Präfix berichtet das Papier, dass die ProbGuard-Variante mit 8 Milliarden Parametern in jeder gemeldeten Modell-Datensatz-Paarung den besten Brier-Score und den besten erwarteten Kalibrierungsfehler aufwies. Im Durchschnitt gegenüber der stärksten Basislinie in jeder Einstellung berechnen die Autoren eine Reduzierung des Brier-Scores um 79,6 % und des erwarteten Kalibrierungsfehlers um 71,9 %. Dies sind die Benchmark-Ergebnisse des Forschungsteams aus einem neuen, nicht peer-reviewten Preprint; Keine unabhängige Gruppe hat sie bisher reproduziert.
Lesen Sie die Primärquelle: ProbGuard research paper on arXiv ↗
Warum es wichtig ist
Eine gut kalibrierte Frühwarnung könnte schädliche Ergebnisse stoppen, bevor sie auftreten, und den Betreibern gleichzeitig eine Risikobewertung geben, anstatt jede unvollständige Reaktion in eine vorzeitige sichere oder unsichere Kennzeichnung zu zwingen.
Der praktische Unterschied ist das Timing. Ein Filter nach der Generierung kann eine fertige unsichere Antwort verbergen oder ersetzen, aber das zugrunde liegende Modell hat bereits Zeit und Rechenaufwand für die Erstellung dieser Antwort aufgewendet, und Streaming-Anwendungen können einen Teil davon vor einer abschließenden Prüfung offenlegen. ProbGuard ist so konzipiert, dass es bereits nach einem kleinen Präfix eingreift. In den Angriffstests des Papiers begrenzte der 8B-Monitor den durchschnittlichen Angriffserfolg auf 0,83 % bei AdvBench und 0,67 % bei HarmBench nach 10 Dekodierungsschritten, verglichen mit 53,83 % und 37,83 %, wenn keine Verteidigung eingesetzt wurde.
Die Kalibrierung ist wichtig, da ein Wert von 0,8 häufiger unsicheren Ergebnissen entsprechen sollte als ein Wert von 0,2. Bediener können dann Schwellenwerte für unterschiedliche Kontexte wählen, anstatt mehrdeutigen frühen Text als sicher zu behandeln. Das Papier berichtet von einer kombinierten durchschnittlichen Angriffserfolgsrate von 0,75 % für ProbGuard-8B und 1,00 % für seine 4B-Version; seine 0,6B-Version lag im Durchschnitt bei 2,83 %. Der kleinere Monitor verarbeitete 1.000 Samples in 12,8 Sekunden und nutzte im Setup der Autoren 3,32 GB GPU-Speicher, was auf einen möglichen Kompromiss zwischen Geschwindigkeit und Kosten hindeutet und nicht auf eine erforderliche Monitorgröße.
Der Ansatz testet auch einen nützlichen Mittelweg zwischen Nur-Text-Filtern und modellinternen Sonden. Hidden-State-Monitore können interne Signale erfassen, erfordern jedoch häufig einen individuellen Zugriff und eine Neuschulung für jede Architektur. ProbGuard retokenisiert Kandidatenausgaben in seine eigene Darstellung, sodass ein Monitor für drei verschiedene Tokenizer und Modellfamilien evaluiert wurde. Dies könnte die Integration für Organisationen erleichtern, die offene Modelle hosten, vorausgesetzt, ihr Inferenzstapel kann bei jedem Dekodierungsschritt zuverlässige Protokollwahrscheinlichkeiten offenlegen.
Der öffentliche Nutzen hängt sowohl von Fehlalarmen als auch von blockierten Angriffen ab. Ein überempfindlicher Monitor kann eine freundliche Diskussion über Medizin, Sicherheit, Geschichte oder Richtlinien unterbrechen, wodurch ein Dienst weniger nützlich wird und sich möglicherweise ungleichmäßig auf einige Sprachen oder Gemeinschaften auswirkt. Die Kalibrierungsergebnisse von ProbGuard sind für die ausgewählten englischsprachigen Sicherheitsdatensätze ermutigend, das Papier ermittelt jedoch keine Leistung bei normalem Produktionsverkehr, mehrsprachigen Gesprächen, langwierigen harmlosen Aufgaben oder speziellen Bereichen, in denen sich schädliche und legitime Sprache überschneiden.
Was Sie als nächstes sehen sollten
Das Release Gate besteht aus unabhängiger Replikation auf neueren und geschlossenen Modellen, realistischem Datenverkehr, mehrsprachigen Daten, adaptiven Angriffen und transparenter Berichterstattung über falsche Blöcke, Latenz und Zugriffsanforderungen.
Die stärkste Einschränkung ist der Umfang. Bei den geschützten Modellen handelt es sich um drei offene Systeme im Bereich von etwa 8B bis 9B, nicht um aktuelle gehostete Modelle im Grenzmaßstab. Alle sechs Jailbreak-Techniken wurden anhand von 100 schädlichen Eingabeaufforderungen von AdvBench und 100 von HarmBench anhand von Qwen3-8B bewertet. Die Betriebsschwellenwerte wurden durch Maximieren von F1 bei einem durchgehaltenen PKU-Split ausgewählt, und GPT-5 beurteilte die resultierenden Angriffsreaktionen. Die Ergebnisse können sich mit unterschiedlichen Richtern, Schwellenwerten, Stichprobeneinstellungen, Modellmaßstäben, Eingabeaufforderungsverteilungen oder speziell für ProbGuard optimierten Angriffen ändern.
Das Trainingssignal wird eher geschätzt als beobachtete Grundwahrheit. Sechzehn Stichproben von Fortsetzungen führten in der Analyse der Autoren zu einer Entscheidungs-Flip-Rate von 3,6 % im Vergleich zu einer Referenz mit 128 Stichproben, und CalibEval ermittelte, welche Fortsetzungen als unsicher galten. Das Papier berichtet, dass CalibEval im PKU-Bewertungssatz 0,943 F1 erreichte, aber alle systematischen Fehler in diesem Richter können sich auf die Zielwahrscheinlichkeiten von ProbGuard auswirken. Eine menschliche Überprüfung und eine unabhängige Sicherheitskennzeichnung würden helfen, zu testen, ob die resultierenden Bewertungen reale Schäden widerspiegeln und nicht die Grenze eines Klassifikators.
Zugang und Kosten erfordern Produktionsmessungen. Gehostete APIs geben üblicherweise nur generierten Text oder begrenzte Protokollwahrscheinlichkeitsdaten zurück, während ProbGuard bei jedem Schritt die höchsten 50 Wahrscheinlichkeiten erwartet. Selbst gehostete Betreiber können diese Verteilungen offenlegen, müssen jedoch während der Generierung einen zusätzlichen Monitor ausführen und entscheiden, wie mit Pausen, Schwellenwertüberschreitungen und Fallback-Reaktionen umgegangen wird. Die Latenzzahlen des Papiers stammen von NVIDIA RTX Pro 6000-Hardware mit 256 GB Systemspeicher und geben keine End-to-End-Benutzerlatenz bei gleichzeitiger Last an.
Schließlich sollten Forscher adaptives Verhalten testen. Ein Angreifer, der weiß, dass der Monitor frühe Wahrscheinlichkeitsverteilungen liest, könnte versuchen, die ersten Token harmlos zu halten, das Risiko auf Kandidaten mit geringer Wahrscheinlichkeit zu verteilen oder Fehlalarme auszulösen, um den Dienst zu beeinträchtigen. Nützliche Folgenachweise wären öffentliche Codes und Gewichte, vorregistrierte Bewertungen, mehrsprachige und multimodale Tests, Red-Team-Versuche, die direkt auf den Monitor gerichtet sind, und Prüfungen, wer unverhältnismäßig blockiert wird. Bis dahin ist ProbGuard ein vielversprechender Forschungsprototyp und kein Beweis dafür, dass Jailbreaks behoben sind.
