Quiz collegato alla guida · Medio Livello
Quiz sull'ottimizzazione delle politiche prossimali
Esamina il ritaglio del PPO, i rapporti politici, le fonti di ricompensa, le sanzioni KL, i critici, i vantaggi e i limiti RLHF del modello linguistico. Verificare le ipotesi e l'ambito.
Domanda 1 di 8
Quale problema affronta principalmente il "clipping" del PPO?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Quale problema affronta principalmente il "clipping" del PPO?
- Aggiornamenti politici troppo ampi che destabilizzano la formazione
- Caricamento dati lento
- Limiti di dimensione del vocabolario
- Utilizzo della memoria durante l'inferenza
- Nel modello linguistico RLHF con PPO, da dove viene solitamente il segnale di ricompensa?
- Punteggio umano diretto di ogni token
- Un modello di ricompensa addestrato
- Il tasso di apprendimento dell'ottimizzatore
- La dimensione del vocabolario
- Cosa fa la penalità di divergenza KL nel RLHF basato su PPO?
- Accelera la generazione dei token
- Aumenta la precisione del modello di ricompensa
- Impedisce che il modello ottimizzato si allontani troppo dal modello di riferimento
- Elimina la necessità di una rete di valore
- Qual è il ruolo della rete del valore (critica) nel PPO?
- Per generare l'output di testo finale
- Per memorizzare i dati di allenamento
- Per sostituire interamente il modello di ricompensa
- Per stimare il rendimento atteso in modo da poter calcolare i vantaggi
- Cosa rappresenta il "vantaggio" nel PPO?
- Quanto un'azione è stata migliore rispetto alla linea di base prevista
- Conteggio totale dei parametri del modello
- L'intervallo di ritaglio
- Il coefficiente di penalità KL
- Cosa distingue GRPO da PPO nel paper DeepSeekMath?
- Rimuove tutto il campionamento della politica e ottimizza solo le etichette supervisionate
- Stima i vantaggi relativi da gruppi di risposte campionate senza un critico di valore separato
- Utilizza un modello di ricompensa addestrato come rete di valore
- Garantisce zero deriva della politica dopo un aggiornamento
- Quale rapporto di probabilità taglia PPO nel suo obiettivo surrogato?
- La ricompensa divisa per il numero di prompt
- La stima del valore divisa per il coefficiente KL
- La probabilità di azione della nuova politica divisa per la probabilità di azione della vecchia politica
- La lunghezza della sequenza divisa per la dimensione del batch
- Perché PPO è chiamato metodo on-policy nella sua forma standard?
- Si addestra solo su un dataset di immagini statiche
- Non campiona mai azioni
- Aggiorna solo un modello di ricompensa
- Raccoglie traiettorie usando la politica corrente in ottimizzazione