Quiz collegato alla guida · Medio Livello
Quiz sui modelli di ricompensa del processo
Punteggio a livello di fase dei modelli di ricompensa del processo di test, etichette umane e automatiche, riclassificazione delle soluzioni, ricerca ad albero e localizzazione degli errori.
Domanda 1 di 8
Cosa distingue principalmente un modello di ricompensa del processo da un modello di ricompensa del risultato?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Cosa distingue principalmente un modello di ricompensa del processo da un modello di ricompensa del risultato?
- Assegna un punteggio a ogni passaggio intermedio del ragionamento, non solo alla risposta finale
- Funziona più velocemente al momento dell'inferenza
- Non richiede dati di addestramento
- Funziona solo su input di immagini
- Quale set di dati ben noto di etichette matematiche a livello di gradini umani è associato alla ricerca sulla PRM?
- ImageNet
- PRM800K
- SQUAD
- WikiTesto
- Perché un segnale di ricompensa basato solo sul risultato può essere fuorviante?
- Le risposte finali non sono mai corrette
- I modelli di risultato non possono leggere il testo
- Una risposta finale corretta può derivare da un ragionamento errato o una risposta sbagliata da un ragionamento per lo più corretto
- Si adatta sempre troppo alla grammatica
- Un modo comune per trasformare i punteggi per passaggio in un punteggio a catena singola è:
- Aggiungi un numero casuale a ogni passaggio
- Ignora tutto tranne il primo passaggio
- Utilizza solo il conteggio dei token
- Prendi la probabilità di passaggio minima lungo la catena
- Che cosa utilizza l'approccio Math-Shepherd per etichettare automaticamente i passaggi?
- Le implementazioni Monte Carlo stimano la frequenza con cui un passaggio porta a una risposta corretta
- Revisione manuale da parte di esperti di ogni passaggio
- Tradurre i passaggi in un'altra lingua
- Conteggio dei segni di punteggiatura
- Quale rischio è particolarmente rilevante quando si addestrano modelli contro un PRM?
- Il modello dimentica come leggere
- Hacking di ricompensa, in cui i passaggi sembrano buoni per il PRM senza essere veramente corretti
- Il PRM non consuma alcun calcolo
- I passaggi diventano impossibili da generare
- How can a process reward model guide a tree search over reasoning?
- Expand every branch equally without scoring
- Choose branches by their final token length
- Prioritize expanding partial solutions whose intermediate steps receive stronger scores
- Replace all branches with one randomly selected answer
- What does the PRM800K dataset contain?
- Only final answer labels for image captions
- Audio recordings of spoken explanations
- A corpus of code commits with no reasoning labels
- Human labels for intermediate steps in mathematical reasoning solutions