Gids-gekoppelde quiz · Middelmatig Niveau

Afwijzingsbemonstering Fine-tuning quiz

Omvat het genereren en filteren van kandidaten, op verificateurs gebaseerde beloningen, omscholing onder toezicht en de risico's van het optimaliseren van een gebrekkige scorer.

Vraag 1 van 8

Which loop best describes how Rejection Sampling Fine-Tuning improves a model?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Which loop best describes how Rejection Sampling Fine-Tuning improves a model?
    • Genereer veel antwoorden van kandidaten, bewaar de best scorende antwoorden en train ze opnieuw
    • Verwijder de slechtst presterende modellagen
    • Weiger alle trainingsgegevens en begin opnieuw
    • Probeer één keer en accepteer altijd de uitvoer
  2. Wat kan als beloning dienen in verifieerbare domeinen zoals wiskunde of code?
    • Alleen een aangeleerd beloningsmodel
    • Of het antwoord juist is of dat de tests slagen
    • De lengte van het antwoord
    • Het aantal gegenereerde tokens
  3. Which model family does the cited paper describe using rejection sampling in its alignment pipeline?
    • GPT-4o
    • BERT Base
    • Meta’s Llama 2-Chat
    • Whisper Large
  4. Why might a team choose rejection-sampling fine-tuning over a policy-gradient approach for some tasks?
    • It never needs a candidate generator or scoring rule
    • It guarantees no reward hacking
    • It always requires less compute than every RL method
    • It can use supervised learning on selected generations instead of updating through policy-gradient RL
  5. Wat doet training op de monsters met maximale beloning effectief?
    • Distilleert de beste kwaliteit van N in de single-sample-uitvoer van het model
    • Vergroot de woordenschatgrootte
    • Verwijdert de mogelijkheid van het model om tekst te genereren
    • Verdubbelt het aantal parameters
  6. What should teams monitor when repeatedly fine-tuning on filtered model-generated outputs?
    • Alleen het aantal modelparameters
    • Output diversity alongside held-out correctness
    • Whether every answer uses the same wording
    • Only the training loss on selected samples
  7. What is a limitation of rejection-sampling fine-tuning’s candidate selection?
    • It can only be used with image labels
    • It always changes the tokenizer
    • It cannot train on a high-quality answer that was never generated or retained
    • It makes the scoring function unnecessary
  8. What risk arises if the scoring model used to filter candidates is flawed?
    • The policy becomes unable to generate any text
    • The tokenizer automatically changes vocabulary
    • The reference labels become unnecessary
    • The policy may learn to exploit the scorer rather than improve the intended quality