Kvíz spojený s průvodcem · Střední úroveň
Kvíz pro jemné doladění vzorkování odmítnutí
Zahrnuje generování a filtrování kandidátů, odměny založené na ověřovatelích, rekvalifikaci pod dohledem a rizika vyplývající z optimalizace chybného bodovače.
Otázka 1 z 8
Která smyčka nejlépe popisuje, jak jemné ladění odmítnutí vzorkování zlepšuje model?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Která smyčka nejlépe popisuje, jak jemné ladění odmítnutí vzorkování zlepšuje model?
- Vygenerujte mnoho odpovědí kandidátů, ponechte si ty s nejlepším skóre a přeškolte se na nich
- Odstraňte vrstvy modelu s nejhorším výkonem
- Odmítněte všechna tréninková data a začněte znovu
- Vzorek jednou a vždy přijmout výstup
- Co může sloužit jako odměna v ověřitelných doménách, jako je matematika nebo kód?
- Pouze naučený model odměny
- Zda je odpověď správná nebo testy projdou
- Délka odezvy
- Počet vygenerovaných tokenů
- Which model family does the cited paper describe using rejection sampling in its alignment pipeline?
- GPT-4o
- BERT Base
- Meta’s Llama 2-Chat
- Whisper Large
- Why might a team choose rejection-sampling fine-tuning over a policy-gradient approach for some tasks?
- It never needs a candidate generator or scoring rule
- It guarantees no reward hacking
- It always requires less compute than every RL method
- It can use supervised learning on selected generations instead of updating through policy-gradient RL
- Co efektivně dělá školení na vzorcích s maximální odměnou?
- Destiluje nejlepší kvalitu N do výstupů modelu s jedním vzorkem
- Zvyšuje velikost slovní zásoby
- Odebere schopnost modelu generovat text
- Zdvojnásobí počet parametrů
- What should teams monitor when repeatedly fine-tuning on filtered model-generated outputs?
- Only the number of model parameters
- Output diversity alongside held-out correctness
- Whether every answer uses the same wording
- Only the training loss on selected samples
- What is a limitation of rejection-sampling fine-tuning’s candidate selection?
- It can only be used with image labels
- It always changes the tokenizer
- It cannot train on a high-quality answer that was never generated or retained
- It makes the scoring function unnecessary
- What risk arises if the scoring model used to filter candidates is flawed?
- The policy becomes unable to generate any text
- The tokenizer automatically changes vocabulary
- The reference labels become unnecessary
- The policy may learn to exploit the scorer rather than improve the intended quality