Quiz collegato alla guida · Difficile Livello

Quiz sull'ottimizzazione della politica relativa del gruppo

Applicare la normalizzazione delle ricompense del gruppo GRPO, la rimozione dei critici e la regolarizzazione delle politiche di riferimento, incluso il significato dei vantaggi relativi all'interno di un unico prompt.

Domanda 1 di 8

Which separately learned estimator does the original GRPO approach avoid training?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Which separately learned estimator does the original GRPO approach avoid training?
    • The policy that generates completions
    • A value or critic model
    • Every possible reward function
    • The reference policy’s vocabulary
  2. In che modo GRPO calcola il vantaggio per un determinato completamento?
    • Interrogando un valore appreso in corrispondenza di ciascun token
    • Utilizzando la ricompensa grezza senza normalizzazione
    • Confrontandolo con i completamenti da un prompt diverso
    • Standardizzando la sua ricompensa rispetto alla media e alla deviazione standard del suo gruppo di completamenti fratelli
  3. Quali modelli hanno reso famosa la GRPO?
    • Modelli di ragionamento DeepSeekMath e DeepSeek-R1 di DeepSeek
    • Serie GPT-2 di OpenAI
    • BERT originale di Google
    • Modelli base Lama 2 di Meta
  4. Che ruolo gioca il termine di divergenza KL nel GRPO?
    • Genera il gruppo di completamenti
    • Sostituisce il modello di ricompensa
    • Ciò impedisce alla politica consolidata di allontanarsi troppo da un modello di riferimento congelato
    • Calcola la stima del valore per token
  5. Perché GRPO è particolarmente interessante per addestrare modelli di ragionamento su matematica o codice?
    • Non richiede alcun segnale di ricompensa
    • Funziona solo con le etichette delle preferenze umane
    • Non può utilizzare completamenti campionati
    • Funziona in modo naturale con premi verificabili e basati su regole (ad esempio, la risposta è stata corrispondente o i test sono stati superati) ottenuti in un gruppo di soluzioni campionate
  6. Qual è un pregiudizio noto che il lavoro di follow-up (come il Dr. GRPO) cerca di correggere nel GRPO vanilla?
    • Una tendenza a ignorare completamente la ricompensa
    • Distorsioni di lunghezza e difficoltà introdotte dal modo in cui le ricompense vengono normalizzate
    • Impossibilità di campionare più di un completamento
    • Un requisito per un'enorme rete critica
  7. Three GRPO completions for one prompt receive rewards 2, 4, and 6. Which completion has zero centered advantage?
    • The completion rewarded 2
    • The completion rewarded 6
    • The completion rewarded 4
    • All completions because rewards differ
  8. Why compare GRPO reward statistics among completions of the same prompt?
    • They provide a relative baseline for alternative answers to that prompt
    • They require unrelated prompts to have equal difficulty
    • They replace checking whether an answer is correct
    • They make the highest reward identical across all tasks