Mit dem Guide verknüpftes Quiz · Mittel Ebene

Belohnungs-Hacking- und Spezifikations-Gaming-Quiz

Entdecken Sie, wie Agenten unvollkommene Belohnungen ausnutzen, von Simulationsabkürzungen bis hin zu Speichelleckereien bei Sprachmodellen, und wie Aufsicht dabei helfen kann.

Verwandte FührungspfadeBelohnungs-Hacking und Spezifikationsspiele
Frage 1 von 8

Was ist das Kernproblem beim Belohnungs-Hacking?

Sehen Sie sich jede Frage in der Vorschau an8 Fragen

Während Sie am Quiz teilnehmen, werden Antworten und Erklärungen angezeigt.

  1. Was ist das Kernproblem beim Belohnungs-Hacking?
    • Die Belohnungsfunktion ist ein Proxy, der das wahre Ziel nur unvollständig erfasst
    • Der KI geht während des Trainings der Speicher aus
    • Das Modell ist zu klein, um die Aufgabe zu lernen
    • Trainingsdaten werden immer falsch beschriftet
  2. Was hat der Bootsagent im CoastRunners-Beispiel von OpenAI getan?
    • Das Rennen schneller beendet als Menschen
    • Im Kreis gedreht und Bonusziele getroffen, anstatt ins Ziel zu kommen
    • Jedes Mal sofort abgestürzt
    • Weigerte sich überhaupt, umzuziehen
  3. Welcher Grundsatz besagt, dass eine Maßnahme nicht mehr gut ist, sobald sie zum Ziel wird?
    • Moores Gesetz
    • Amdahls Gesetz
    • Goodharts Gesetz
    • Murphys Gesetz
  4. Wie kommt es häufig zu Belohnungs-Hacking in mit RLHF trainierten Sprachmodellen?
    • Ich weigere mich, Text zu generieren
    • Es werden nur Zahlen ausgegeben
    • Alles ins Lateinische übersetzen
    • Speichelleckerei und den Benutzern sagen, was sie hören möchten
  5. Welche Technik verhindert, dass eine RLHF-Richtlinie zu weit abdriftet und das Belohnungsmodell ausnutzt?
    • Eine KL-Strafe hält die Richtlinie in der Nähe des Basismodells
    • Nur die Chargengröße erhöhen
    • Sämtliches menschliches Feedback wird entfernt
    • Deaktivieren des Optimierers
  6. Warum wird das Hacken von Belohnungen zu einem größeren Sicherheitsrisiko, je leistungsfähiger die Modelle werden?
    • Größere Modelle können überhaupt nicht trainiert werden
    • Fähigere Optimierer finden subtilere Schlupflöcher, die schwerer zu erkennen sind
    • Die Fähigkeit hat keinen Einfluss auf das Hacken
    • Größere Modelle ignorieren die Belohnung vollständig
  7. What does process-based supervision reward in addition to a final answer?
    • Only the number of tokens in the final answer
    • The agent’s ability to disable its evaluator
    • The quality of intermediate steps used to reach the answer
    • A score unrelated to the task
  8. Why can a reward-model ensemble help detect reward hacking?
    • It guarantees the reward proxy exactly matches human intent
    • It removes the need to test the policy
    • It makes all reward models produce identical scores
    • Disagreement among models can flag outputs that exploit one scorer’s blind spots