Quiz collegato alla guida · Medio Livello
Quiz di messa a punto del campionamento del rifiuto
Riguarda la generazione e il filtraggio dei candidati, i premi basati sul verificatore, la riqualificazione supervisionata e i rischi derivanti dall'ottimizzazione di un valutatore difettoso.
Domanda 1 di 8
Which loop best describes how Rejection Sampling Fine-Tuning improves a model?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Which loop best describes how Rejection Sampling Fine-Tuning improves a model?
- Genera molte risposte dei candidati, mantieni quelle con il punteggio migliore e riqualificati su di esse
- Elimina i livelli del modello con le prestazioni peggiori
- Rifiuta tutti i dati di allenamento e ricomincia
- Prova una volta e accetta sempre l'output
- In ambiti verificabili come la matematica o il codice, cosa può servire come ricompensa?
- Solo un modello di ricompensa appreso
- Se la risposta è corretta o se i test vengono superati
- La lunghezza della risposta
- Il numero di token generati
- Which model family does the cited paper describe using rejection sampling in its alignment pipeline?
- GPT-4o
- BERT Base
- Meta’s Llama 2-Chat
- Whisper Large
- Why might a team choose rejection-sampling fine-tuning over a policy-gradient approach for some tasks?
- It never needs a candidate generator or scoring rule
- It guarantees no reward hacking
- It always requires less compute than every RL method
- It can use supervised learning on selected generations instead of updating through policy-gradient RL
- Cosa fa efficacemente la formazione sui campioni con la ricompensa massima?
- Distilla la migliore qualità negli output a campione singolo del modello
- Aumenta la dimensione del vocabolario
- Rimuove la capacità del modello di generare testo
- Raddoppia il conteggio dei parametri
- What should teams monitor when repeatedly fine-tuning on filtered model-generated outputs?
- Only the number of model parameters
- Output diversity alongside held-out correctness
- Whether every answer uses the same wording
- Only the training loss on selected samples
- What is a limitation of rejection-sampling fine-tuning’s candidate selection?
- It can only be used with image labels
- It always changes the tokenizer
- It cannot train on a high-quality answer that was never generated or retained
- It makes the scoring function unnecessary
- What risk arises if the scoring model used to filter candidates is flawed?
- The policy becomes unable to generate any text
- The tokenizer automatically changes vocabulary
- The reference labels become unnecessary
- The policy may learn to exploit the scorer rather than improve the intended quality