Test legat de ghid · Mediu Nivel
Chestionar cu modele de recompensă de proces
Procesul de testare recompensează scorul la nivel de pas al modelelor, etichetele umane și automate, reclasificarea soluției, căutarea în arbore și localizarea eșecului.
Întrebare 1 de 8
Ce diferențiază în primul rând un model de recompensă proces de un model de recompensă rezultat?
Previzualizează fiecare întrebare8 întrebări
Răspunsurile și explicațiile apar pe măsură ce susțineți testul.
- Ce diferențiază în primul rând un model de recompensă proces de un model de recompensă rezultat?
- Se punctează fiecare pas intermediar de raționament, nu doar răspunsul final
- Funcționează mai rapid la timpul de inferență
- Nu necesită date de antrenament
- Funcționează doar pe intrările de imagine
- Ce set de date binecunoscut de etichete de matematică la nivel de pas uman este asociat cu cercetarea PRM?
- ImageNet
- PRM800K
- SQUAD
- WikiText
- De ce poate un semnal de recompensă numai pentru rezultat să induce în eroare?
- Răspunsurile finale nu sunt niciodată corecte
- Modelele rezultate nu pot citi textul
- Un răspuns final corect poate rezulta dintr-un raționament greșit sau un răspuns greșit dintr-un raționament în mare parte corect
- Întotdeauna se adaptează prea mult la gramatică
- O modalitate obișnuită de a transforma scorurile pe pas într-un singur scor în lanț este:
- Adăugați un număr aleatoriu la fiecare pas
- Ignorați toate, cu excepția primului pas
- Folosiți numai numărul de jetoane
- Luați probabilitatea pasului minim de-a lungul lanțului
- Ce folosește abordarea Math-Shepherd pentru a eticheta automat pașii?
- Lansări Monte Carlo care estimează cât de des un pas duce la un răspuns corect
- Revizuirea manuală de către experți a fiecărui pas
- Traducerea pașilor în altă limbă
- Numărarea semnelor de punctuație
- Ce risc este deosebit de relevant atunci când se antrenează modele împotriva unui PRM?
- Modelul uită să citească
- Hacking de recompensă, în care pașii arată bine pentru PRM fără a fi cu adevărat corecti
- PRM-ul nu consumă niciun calcul
- Pașii devin imposibil de generat
- How can a process reward model guide a tree search over reasoning?
- Expand every branch equally without scoring
- Choose branches by their final token length
- Prioritize expanding partial solutions whose intermediate steps receive stronger scores
- Replace all branches with one randomly selected answer
- What does the PRM800K dataset contain?
- Only final answer labels for image captions
- Audio recordings of spoken explanations
- A corpus of code commits with no reasoning labels
- Human labels for intermediate steps in mathematical reasoning solutions