Kvíz spojený s průvodcem · Střední úroveň

Kvíz pro jemné doladění vzorkování odmítnutí

Zahrnuje generování a filtrování kandidátů, odměny založené na ověřovatelích, rekvalifikaci pod dohledem a rizika vyplývající z optimalizace chybného bodovače.

Otázka 1 z 8

Která smyčka nejlépe popisuje, jak jemné ladění odmítnutí vzorkování zlepšuje model?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Která smyčka nejlépe popisuje, jak jemné ladění odmítnutí vzorkování zlepšuje model?
    • Vygenerujte mnoho odpovědí kandidátů, ponechte si ty s nejlepším skóre a přeškolte se na nich
    • Odstraňte vrstvy modelu s nejhorším výkonem
    • Odmítněte všechna tréninková data a začněte znovu
    • Vzorek jednou a vždy přijmout výstup
  2. Co může sloužit jako odměna v ověřitelných doménách, jako je matematika nebo kód?
    • Pouze naučený model odměny
    • Zda je odpověď správná nebo testy projdou
    • Délka odezvy
    • Počet vygenerovaných tokenů
  3. Which model family does the cited paper describe using rejection sampling in its alignment pipeline?
    • GPT-4o
    • BERT Base
    • Meta’s Llama 2-Chat
    • Whisper Large
  4. Why might a team choose rejection-sampling fine-tuning over a policy-gradient approach for some tasks?
    • It never needs a candidate generator or scoring rule
    • It guarantees no reward hacking
    • It always requires less compute than every RL method
    • It can use supervised learning on selected generations instead of updating through policy-gradient RL
  5. Co efektivně dělá školení na vzorcích s maximální odměnou?
    • Destiluje nejlepší kvalitu N do výstupů modelu s jedním vzorkem
    • Zvyšuje velikost slovní zásoby
    • Odebere schopnost modelu generovat text
    • Zdvojnásobí počet parametrů
  6. What should teams monitor when repeatedly fine-tuning on filtered model-generated outputs?
    • Only the number of model parameters
    • Output diversity alongside held-out correctness
    • Whether every answer uses the same wording
    • Only the training loss on selected samples
  7. What is a limitation of rejection-sampling fine-tuning’s candidate selection?
    • It can only be used with image labels
    • It always changes the tokenizer
    • It cannot train on a high-quality answer that was never generated or retained
    • It makes the scoring function unnecessary
  8. What risk arises if the scoring model used to filter candidates is flawed?
    • The policy becomes unable to generate any text
    • The tokenizer automatically changes vocabulary
    • The reference labels become unnecessary
    • The policy may learn to exploit the scorer rather than improve the intended quality