Quiz collegato alla guida · Medio Livello

Quiz sui modelli di ricompensa del processo

Punteggio a livello di fase dei modelli di ricompensa del processo di test, etichette umane e automatiche, riclassificazione delle soluzioni, ricerca ad albero e localizzazione degli errori.

Percorsi guida correlatiModelli di ricompensa del processo
Domanda 1 di 8

Cosa distingue principalmente un modello di ricompensa del processo da un modello di ricompensa del risultato?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Cosa distingue principalmente un modello di ricompensa del processo da un modello di ricompensa del risultato?
    • Assegna un punteggio a ogni passaggio intermedio del ragionamento, non solo alla risposta finale
    • Funziona più velocemente al momento dell'inferenza
    • Non richiede dati di addestramento
    • Funziona solo su input di immagini
  2. Quale set di dati ben noto di etichette matematiche a livello di gradini umani è associato alla ricerca sulla PRM?
    • ImageNet
    • PRM800K
    • SQUAD
    • WikiTesto
  3. Perché un segnale di ricompensa basato solo sul risultato può essere fuorviante?
    • Le risposte finali non sono mai corrette
    • I modelli di risultato non possono leggere il testo
    • Una risposta finale corretta può derivare da un ragionamento errato o una risposta sbagliata da un ragionamento per lo più corretto
    • Si adatta sempre troppo alla grammatica
  4. Un modo comune per trasformare i punteggi per passaggio in un punteggio a catena singola è:
    • Aggiungi un numero casuale a ogni passaggio
    • Ignora tutto tranne il primo passaggio
    • Utilizza solo il conteggio dei token
    • Prendi la probabilità di passaggio minima lungo la catena
  5. Che cosa utilizza l'approccio Math-Shepherd per etichettare automaticamente i passaggi?
    • Le implementazioni Monte Carlo stimano la frequenza con cui un passaggio porta a una risposta corretta
    • Revisione manuale da parte di esperti di ogni passaggio
    • Tradurre i passaggi in un'altra lingua
    • Conteggio dei segni di punteggiatura
  6. Quale rischio è particolarmente rilevante quando si addestrano modelli contro un PRM?
    • Il modello dimentica come leggere
    • Hacking di ricompensa, in cui i passaggi sembrano buoni per il PRM senza essere veramente corretti
    • Il PRM non consuma alcun calcolo
    • I passaggi diventano impossibili da generare
  7. How can a process reward model guide a tree search over reasoning?
    • Expand every branch equally without scoring
    • Choose branches by their final token length
    • Prioritize expanding partial solutions whose intermediate steps receive stronger scores
    • Replace all branches with one randomly selected answer
  8. What does the PRM800K dataset contain?
    • Only final answer labels for image captions
    • Audio recordings of spoken explanations
    • A corpus of code commits with no reasoning labels
    • Human labels for intermediate steps in mathematical reasoning solutions