Mit dem Guide verknüpftes Quiz · Mittel Ebene

Quiz zur proximalen Richtlinienoptimierung

Überprüfen Sie PPO-Clipping, Richtlinienquoten, Belohnungsquellen, KL-Strafen, Kritiker, Vorteile und RLHF-Grenzwerte des Sprachmodells. Überprüfen Sie Annahmen und Umfang.

Verwandte FührungspfadeProximale Richtlinienoptimierung
Frage 1 von 8

Welches Problem löst das „Clipping“ von PPO in erster Linie?

Sehen Sie sich jede Frage in der Vorschau an8 Fragen

Während Sie am Quiz teilnehmen, werden Antworten und Erklärungen angezeigt.

  1. Welches Problem löst das „Clipping“ von PPO in erster Linie?
    • Zu umfangreiche Richtlinienaktualisierungen, die das Training destabilisieren
    • Langsames Laden der Daten
    • Grenzen der Wortschatzgröße
    • Speichernutzung während der Inferenz
  2. Woher kommt im Sprachmodell RLHF mit PPO normalerweise das Belohnungssignal?
    • Direkte menschliche Bewertung jedes Tokens
    • Ein trainiertes Belohnungsmodell
    • Die Lernrate des Optimierers
    • Die Größe des Wortschatzes
  3. Was bewirkt die KL-Divergenzstrafe bei PPO-basiertem RLHF?
    • Beschleunigt die Token-Generierung
    • Erhöht die Genauigkeit des Belohnungsmodells
    • Verhindert, dass das fein abgestimmte Modell zu weit vom Referenzmodell abweicht
    • Macht ein Wertschöpfungsnetzwerk überflüssig
  4. Welche Rolle spielt das Wertenetzwerk (Kritikernetzwerk) bei PPO?
    • Um die endgültige Textausgabe zu generieren
    • Zum Speichern der Trainingsdaten
    • Um das Belohnungsmodell vollständig zu ersetzen
    • Zur Schätzung der erwarteten Rendite, damit Vorteile berechnet werden können
  5. Was bedeutet der „Vorteil“ bei PPO?
    • Wie viel besser war eine Aktion als die erwartete Basislinie?
    • Die Gesamtparameteranzahl des Modells
    • Der Clipping-Bereich
    • Der KL-Strafkoeffizient
  6. What distinguishes GRPO from PPO in the DeepSeekMath paper?
    • It removes all policy sampling and optimizes only supervised labels
    • It estimates relative advantages from groups of sampled responses without a separate value critic
    • It uses a trained reward model as a value network
    • It guarantees zero policy drift after one update
  7. What probability ratio does PPO clip in its surrogate objective?
    • The reward divided by the number of prompts
    • The value estimate divided by the KL coefficient
    • The new policy’s action probability divided by the old policy’s action probability
    • The sequence length divided by batch size
  8. Why is PPO called an on-policy method in its standard form?
    • It trains only on a static image dataset
    • It never samples actions
    • It updates only a reward model
    • It collects trajectories using the current policy being optimized