Gids-gekoppelde quiz · Middelmatig Niveau
Beloningsmodelleringsquiz
Test reward‑model scores, voorkeur‑data, pairwise ranking loss, reward hacking, en best‑of‑N gebruik in RLHF. Controleer aannames en scope.
Vraag 1 van 8
Wat is de primaire output van een beloningsmodel voor een bepaald prompt-responspaar?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Wat is de primaire output van een beloningsmodel voor een bepaald prompt-responspaar?
- Eén enkele scalaire score
- Een volledige tekstreactie
- Een waarschijnlijkheidsverdeling over de woordenschat
- Een lijst met voorkeurstokens
- What feedback format did the InstructGPT paper collect to train its reward model?
- A guaranteed correctness label for every possible answer
- Human rankings of several model responses, converted into pairwise preferences
- A single sentiment score for each training prompt
- Only binary safety labels with no response comparisons
- Wat optimaliseert het standaardbeloningsmodelverlies?
- De absolute beloningswaarde van elke reactie
- De nauwkeurigheid van de volgende tokenvoorspelling
- Dat het gekozen antwoord hoger scoort dan het verworpen antwoord
- De lengte van reacties
- Wat is 'beloninghacken'?
- Het beloningsmodel van een concurrent stelen
- Een methode om de training te versnellen
- Het beloningssignaal coderen
- Het beleid maakt gebruik van tekortkomingen in het beloningsmodel om hoge scores te behalen zonder echte kwaliteit
- Hoe wordt een beloningsmodel architectonisch afgeleid van een taalmodel?
- Door de tokenvoorspellingskop te vervangen door een enkele scalaire uitgangskop
- Door meer aandachtslagen toe te voegen
- Door alle transformatorlagen te verwijderen
- Door de woordenschat te verdubbelen
- Hoe wordt een beloningsmodel gebruikt op het moment van inferentie bij best-of-N-steekproeven?
- N-beloningsmodellen parallel trainen
- Meerdere reacties genereren en het beloningsmodel gebruiken om de hoogst scorende te kiezen
- Selecteren van de N meest voorkomende tokens
- Middeling van N-modelcontrolepunten
- Why might an RLHF study use an ensemble of reward models during training?
- To guarantee that reward hacking is impossible
- To replace the human preference data with exact correctness labels
- To estimate disagreement or uncertainty across learned preference scorers
- To ensure every candidate receives the same score
- Why should reward-model evaluations include held-out comparisons?
- To ensure training comparisons are never used
- To make every output identical
- To guarantee the reward is unbiased
- To test whether preferences generalize beyond the training comparisons