Gids-gekoppelde quiz · Middelmatig Niveau
Proces Beloningsmodellen Quiz
Test de stapniveauscores van procesbeloningsmodellen, menselijke en automatische labels, herrangschikking van oplossingen, zoeken in boomstructuren en lokalisatie van fouten.
Vraag 1 van 8
Wat onderscheidt een procesbeloningsmodel in de eerste plaats van een uitkomstbeloningsmodel?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Wat onderscheidt een procesbeloningsmodel in de eerste plaats van een uitkomstbeloningsmodel?
- Het beoordeelt elke tussenliggende redeneerstap, niet alleen het uiteindelijke antwoord
- Het werkt sneller tijdens de inferentietijd
- Er zijn geen trainingsgegevens vereist
- Het werkt alleen op beeldinvoer
- Welke bekende dataset van menselijke wiskundelabels op stapniveau is geassocieerd met PRM-onderzoek?
- BeeldNet
- PRM800K
- Ploeg
- WikiTekst
- Waarom kan een beloningssignaal dat alleen op uitkomsten gericht is, misleidend zijn?
- Definitieve antwoorden zijn nooit correct
- Uitkomstmodellen kunnen geen tekst lezen
- Een correct eindantwoord kan het resultaat zijn van een gebrekkige redenering, of een verkeerd antwoord van een grotendeels correcte redenering
- Het past altijd te veel bij de grammatica
- Een gebruikelijke manier om scores per stap om te zetten in een enkele ketenscore is:
- Voeg aan elke stap een willekeurig getal toe
- Negeer alles behalve de eerste stap
- Gebruik alleen het aantal tokens
- Neem de minimale stapkans over de hele keten
- Wat gebruikt de Math-Shepherd-aanpak om stappen automatisch te labelen?
- Monte Carlo-implementaties schatten hoe vaak een stap tot een juist antwoord leidt
- Handmatige beoordeling door deskundigen van elke stap
- Stappen vertalen naar een andere taal
- Leestekens tellen
- Welk risico is vooral relevant bij het trainen van modellen tegen een PRM?
- Het model vergeet hoe te lezen
- Beloon hacking, waarbij stappen er goed uitzien voor de PRM zonder echt correct te zijn
- De PRM verbruikt geen rekenkracht
- Stappen worden onmogelijk te genereren
- How can a process reward model guide a tree search over reasoning?
- Expand every branch equally without scoring
- Choose branches by their final token length
- Prioritize expanding partial solutions whose intermediate steps receive stronger scores
- Replace all branches with one randomly selected answer
- What does the PRM800K dataset contain?
- Only final answer labels for image captions
- Audio recordings of spoken explanations
- A corpus of code commits with no reasoning labels
- Human labels for intermediate steps in mathematical reasoning solutions