Gids-gekoppelde quiz · Middelmatig Niveau
Afwijzingsbemonstering Fine-tuning quiz
Omvat het genereren en filteren van kandidaten, op verificateurs gebaseerde beloningen, omscholing onder toezicht en de risico's van het optimaliseren van een gebrekkige scorer.
Vraag 1 van 8
Which loop best describes how Rejection Sampling Fine-Tuning improves a model?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Which loop best describes how Rejection Sampling Fine-Tuning improves a model?
- Genereer veel antwoorden van kandidaten, bewaar de best scorende antwoorden en train ze opnieuw
- Verwijder de slechtst presterende modellagen
- Weiger alle trainingsgegevens en begin opnieuw
- Probeer één keer en accepteer altijd de uitvoer
- Wat kan als beloning dienen in verifieerbare domeinen zoals wiskunde of code?
- Alleen een aangeleerd beloningsmodel
- Of het antwoord juist is of dat de tests slagen
- De lengte van het antwoord
- Het aantal gegenereerde tokens
- Which model family does the cited paper describe using rejection sampling in its alignment pipeline?
- GPT-4o
- BERT Base
- Meta’s Llama 2-Chat
- Whisper Large
- Why might a team choose rejection-sampling fine-tuning over a policy-gradient approach for some tasks?
- It never needs a candidate generator or scoring rule
- It guarantees no reward hacking
- It always requires less compute than every RL method
- It can use supervised learning on selected generations instead of updating through policy-gradient RL
- Wat doet training op de monsters met maximale beloning effectief?
- Distilleert de beste kwaliteit van N in de single-sample-uitvoer van het model
- Vergroot de woordenschatgrootte
- Verwijdert de mogelijkheid van het model om tekst te genereren
- Verdubbelt het aantal parameters
- What should teams monitor when repeatedly fine-tuning on filtered model-generated outputs?
- Alleen het aantal modelparameters
- Output diversity alongside held-out correctness
- Whether every answer uses the same wording
- Only the training loss on selected samples
- What is a limitation of rejection-sampling fine-tuning’s candidate selection?
- It can only be used with image labels
- It always changes the tokenizer
- It cannot train on a high-quality answer that was never generated or retained
- It makes the scoring function unnecessary
- What risk arises if the scoring model used to filter candidates is flawed?
- The policy becomes unable to generate any text
- The tokenizer automatically changes vocabulary
- The reference labels become unnecessary
- The policy may learn to exploit the scorer rather than improve the intended quality