Quiz collegato alla guida · Medio Livello

Quiz di messa a punto del campionamento del rifiuto

Riguarda la generazione e il filtraggio dei candidati, i premi basati sul verificatore, la riqualificazione supervisionata e i rischi derivanti dall'ottimizzazione di un valutatore difettoso.

Domanda 1 di 8

Which loop best describes how Rejection Sampling Fine-Tuning improves a model?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Which loop best describes how Rejection Sampling Fine-Tuning improves a model?
    • Genera molte risposte dei candidati, mantieni quelle con il punteggio migliore e riqualificati su di esse
    • Elimina i livelli del modello con le prestazioni peggiori
    • Rifiuta tutti i dati di allenamento e ricomincia
    • Prova una volta e accetta sempre l'output
  2. In ambiti verificabili come la matematica o il codice, cosa può servire come ricompensa?
    • Solo un modello di ricompensa appreso
    • Se la risposta è corretta o se i test vengono superati
    • La lunghezza della risposta
    • Il numero di token generati
  3. Which model family does the cited paper describe using rejection sampling in its alignment pipeline?
    • GPT-4o
    • BERT Base
    • Meta’s Llama 2-Chat
    • Whisper Large
  4. Why might a team choose rejection-sampling fine-tuning over a policy-gradient approach for some tasks?
    • It never needs a candidate generator or scoring rule
    • It guarantees no reward hacking
    • It always requires less compute than every RL method
    • It can use supervised learning on selected generations instead of updating through policy-gradient RL
  5. Cosa fa efficacemente la formazione sui campioni con la ricompensa massima?
    • Distilla la migliore qualità negli output a campione singolo del modello
    • Aumenta la dimensione del vocabolario
    • Rimuove la capacità del modello di generare testo
    • Raddoppia il conteggio dei parametri
  6. What should teams monitor when repeatedly fine-tuning on filtered model-generated outputs?
    • Only the number of model parameters
    • Output diversity alongside held-out correctness
    • Whether every answer uses the same wording
    • Only the training loss on selected samples
  7. What is a limitation of rejection-sampling fine-tuning’s candidate selection?
    • It can only be used with image labels
    • It always changes the tokenizer
    • It cannot train on a high-quality answer that was never generated or retained
    • It makes the scoring function unnecessary
  8. What risk arises if the scoring model used to filter candidates is flawed?
    • The policy becomes unable to generate any text
    • The tokenizer automatically changes vocabulary
    • The reference labels become unnecessary
    • The policy may learn to exploit the scorer rather than improve the intended quality