Gids-gekoppelde quiz · Middelmatig Niveau

Beloningsmodelleringsquiz

Test reward‑model scores, voorkeur‑data, pairwise ranking loss, reward hacking, en best‑of‑N gebruik in RLHF. Controleer aannames en scope.

Gerelateerde gidspadenBeloningsmodellering
Vraag 1 van 8

Wat is de primaire output van een beloningsmodel voor een bepaald prompt-responspaar?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Wat is de primaire output van een beloningsmodel voor een bepaald prompt-responspaar?
    • Eén enkele scalaire score
    • Een volledige tekstreactie
    • Een waarschijnlijkheidsverdeling over de woordenschat
    • Een lijst met voorkeurstokens
  2. What feedback format did the InstructGPT paper collect to train its reward model?
    • A guaranteed correctness label for every possible answer
    • Human rankings of several model responses, converted into pairwise preferences
    • A single sentiment score for each training prompt
    • Only binary safety labels with no response comparisons
  3. Wat optimaliseert het standaardbeloningsmodelverlies?
    • De absolute beloningswaarde van elke reactie
    • De nauwkeurigheid van de volgende tokenvoorspelling
    • Dat het gekozen antwoord hoger scoort dan het verworpen antwoord
    • De lengte van reacties
  4. Wat is 'beloninghacken'?
    • Het beloningsmodel van een concurrent stelen
    • Een methode om de training te versnellen
    • Het beloningssignaal coderen
    • Het beleid maakt gebruik van tekortkomingen in het beloningsmodel om hoge scores te behalen zonder echte kwaliteit
  5. Hoe wordt een beloningsmodel architectonisch afgeleid van een taalmodel?
    • Door de tokenvoorspellingskop te vervangen door een enkele scalaire uitgangskop
    • Door meer aandachtslagen toe te voegen
    • Door alle transformatorlagen te verwijderen
    • Door de woordenschat te verdubbelen
  6. Hoe wordt een beloningsmodel gebruikt op het moment van inferentie bij best-of-N-steekproeven?
    • N-beloningsmodellen parallel trainen
    • Meerdere reacties genereren en het beloningsmodel gebruiken om de hoogst scorende te kiezen
    • Selecteren van de N meest voorkomende tokens
    • Middeling van N-modelcontrolepunten
  7. Why might an RLHF study use an ensemble of reward models during training?
    • To guarantee that reward hacking is impossible
    • To replace the human preference data with exact correctness labels
    • To estimate disagreement or uncertainty across learned preference scorers
    • To ensure every candidate receives the same score
  8. Why should reward-model evaluations include held-out comparisons?
    • To ensure training comparisons are never used
    • To make every output identical
    • To guarantee the reward is unbiased
    • To test whether preferences generalize beyond the training comparisons