Quiz collegato alla guida · Medio Livello

Quiz sull'ottimizzazione delle politiche prossimali

Esamina il ritaglio del PPO, i rapporti politici, le fonti di ricompensa, le sanzioni KL, i critici, i vantaggi e i limiti RLHF del modello linguistico. Verificare le ipotesi e l'ambito.

Domanda 1 di 8

Quale problema affronta principalmente il "clipping" del PPO?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Quale problema affronta principalmente il "clipping" del PPO?
    • Aggiornamenti politici troppo ampi che destabilizzano la formazione
    • Caricamento dati lento
    • Limiti di dimensione del vocabolario
    • Utilizzo della memoria durante l'inferenza
  2. Nel modello linguistico RLHF con PPO, da dove viene solitamente il segnale di ricompensa?
    • Punteggio umano diretto di ogni token
    • Un modello di ricompensa addestrato
    • Il tasso di apprendimento dell'ottimizzatore
    • La dimensione del vocabolario
  3. Cosa fa la penalità di divergenza KL nel RLHF basato su PPO?
    • Accelera la generazione dei token
    • Aumenta la precisione del modello di ricompensa
    • Impedisce che il modello ottimizzato si allontani troppo dal modello di riferimento
    • Elimina la necessità di una rete di valore
  4. Qual è il ruolo della rete del valore (critica) nel PPO?
    • Per generare l'output di testo finale
    • Per memorizzare i dati di allenamento
    • Per sostituire interamente il modello di ricompensa
    • Per stimare il rendimento atteso in modo da poter calcolare i vantaggi
  5. Cosa rappresenta il "vantaggio" nel PPO?
    • Quanto un'azione è stata migliore rispetto alla linea di base prevista
    • Conteggio totale dei parametri del modello
    • L'intervallo di ritaglio
    • Il coefficiente di penalità KL
  6. Cosa distingue GRPO da PPO nel paper DeepSeekMath?
    • Rimuove tutto il campionamento della politica e ottimizza solo le etichette supervisionate
    • Stima i vantaggi relativi da gruppi di risposte campionate senza un critico di valore separato
    • Utilizza un modello di ricompensa addestrato come rete di valore
    • Garantisce zero deriva della politica dopo un aggiornamento
  7. Quale rapporto di probabilità taglia PPO nel suo obiettivo surrogato?
    • La ricompensa divisa per il numero di prompt
    • La stima del valore divisa per il coefficiente KL
    • La probabilità di azione della nuova politica divisa per la probabilità di azione della vecchia politica
    • La lunghezza della sequenza divisa per la dimensione del batch
  8. Perché PPO è chiamato metodo on-policy nella sua forma standard?
    • Si addestra solo su un dataset di immagini statiche
    • Non campiona mai azioni
    • Aggiorna solo un modello di ricompensa
    • Raccoglie traiettorie usando la politica corrente in ottimizzazione