Gids-gekoppelde quiz · Middelmatig Niveau

Proces Beloningsmodellen Quiz

Test de stapniveauscores van procesbeloningsmodellen, menselijke en automatische labels, herrangschikking van oplossingen, zoeken in boomstructuren en lokalisatie van fouten.

Gerelateerde gidspadenBeloningsmodellen verwerken
Vraag 1 van 8

Wat onderscheidt een procesbeloningsmodel in de eerste plaats van een uitkomstbeloningsmodel?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Wat onderscheidt een procesbeloningsmodel in de eerste plaats van een uitkomstbeloningsmodel?
    • Het beoordeelt elke tussenliggende redeneerstap, niet alleen het uiteindelijke antwoord
    • Het werkt sneller tijdens de inferentietijd
    • Er zijn geen trainingsgegevens vereist
    • Het werkt alleen op beeldinvoer
  2. Welke bekende dataset van menselijke wiskundelabels op stapniveau is geassocieerd met PRM-onderzoek?
    • BeeldNet
    • PRM800K
    • Ploeg
    • WikiTekst
  3. Waarom kan een beloningssignaal dat alleen op uitkomsten gericht is, misleidend zijn?
    • Definitieve antwoorden zijn nooit correct
    • Uitkomstmodellen kunnen geen tekst lezen
    • Een correct eindantwoord kan het resultaat zijn van een gebrekkige redenering, of een verkeerd antwoord van een grotendeels correcte redenering
    • Het past altijd te veel bij de grammatica
  4. Een gebruikelijke manier om scores per stap om te zetten in een enkele ketenscore is:
    • Voeg aan elke stap een willekeurig getal toe
    • Negeer alles behalve de eerste stap
    • Gebruik alleen het aantal tokens
    • Neem de minimale stapkans over de hele keten
  5. Wat gebruikt de Math-Shepherd-aanpak om stappen automatisch te labelen?
    • Monte Carlo-implementaties schatten hoe vaak een stap tot een juist antwoord leidt
    • Handmatige beoordeling door deskundigen van elke stap
    • Stappen vertalen naar een andere taal
    • Leestekens tellen
  6. Welk risico is vooral relevant bij het trainen van modellen tegen een PRM?
    • Het model vergeet hoe te lezen
    • Beloon hacking, waarbij stappen er goed uitzien voor de PRM zonder echt correct te zijn
    • De PRM verbruikt geen rekenkracht
    • Stappen worden onmogelijk te genereren
  7. How can a process reward model guide a tree search over reasoning?
    • Expand every branch equally without scoring
    • Choose branches by their final token length
    • Prioritize expanding partial solutions whose intermediate steps receive stronger scores
    • Replace all branches with one randomly selected answer
  8. What does the PRM800K dataset contain?
    • Only final answer labels for image captions
    • Audio recordings of spoken explanations
    • A corpus of code commits with no reasoning labels
    • Human labels for intermediate steps in mathematical reasoning solutions