Quiz collegato alla guida · Difficile Livello
Quiz sull'ottimizzazione della politica relativa del gruppo
Applicare la normalizzazione delle ricompense del gruppo GRPO, la rimozione dei critici e la regolarizzazione delle politiche di riferimento, incluso il significato dei vantaggi relativi all'interno di un unico prompt.
Domanda 1 di 8
Which separately learned estimator does the original GRPO approach avoid training?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Which separately learned estimator does the original GRPO approach avoid training?
- The policy that generates completions
- A value or critic model
- Every possible reward function
- The reference policy’s vocabulary
- In che modo GRPO calcola il vantaggio per un determinato completamento?
- Interrogando un valore appreso in corrispondenza di ciascun token
- Utilizzando la ricompensa grezza senza normalizzazione
- Confrontandolo con i completamenti da un prompt diverso
- Standardizzando la sua ricompensa rispetto alla media e alla deviazione standard del suo gruppo di completamenti fratelli
- Quali modelli hanno reso famosa la GRPO?
- Modelli di ragionamento DeepSeekMath e DeepSeek-R1 di DeepSeek
- Serie GPT-2 di OpenAI
- BERT originale di Google
- Modelli base Lama 2 di Meta
- Che ruolo gioca il termine di divergenza KL nel GRPO?
- Genera il gruppo di completamenti
- Sostituisce il modello di ricompensa
- Ciò impedisce alla politica consolidata di allontanarsi troppo da un modello di riferimento congelato
- Calcola la stima del valore per token
- Perché GRPO è particolarmente interessante per addestrare modelli di ragionamento su matematica o codice?
- Non richiede alcun segnale di ricompensa
- Funziona solo con le etichette delle preferenze umane
- Non può utilizzare completamenti campionati
- Funziona in modo naturale con premi verificabili e basati su regole (ad esempio, la risposta è stata corrispondente o i test sono stati superati) ottenuti in un gruppo di soluzioni campionate
- Qual è un pregiudizio noto che il lavoro di follow-up (come il Dr. GRPO) cerca di correggere nel GRPO vanilla?
- Una tendenza a ignorare completamente la ricompensa
- Distorsioni di lunghezza e difficoltà introdotte dal modo in cui le ricompense vengono normalizzate
- Impossibilità di campionare più di un completamento
- Un requisito per un'enorme rete critica
- Three GRPO completions for one prompt receive rewards 2, 4, and 6. Which completion has zero centered advantage?
- The completion rewarded 2
- The completion rewarded 6
- The completion rewarded 4
- All completions because rewards differ
- Why compare GRPO reward statistics among completions of the same prompt?
- They provide a relative baseline for alternative answers to that prompt
- They require unrelated prompts to have equal difficulty
- They replace checking whether an answer is correct
- They make the highest reward identical across all tasks