Útmutatóhoz kapcsolódó kvíz · Közepes Szint
Elutasítási mintavételi finomhangoló kvíz
Covers candidate generation and filtering, verifier-based rewards, supervised retraining, and risks from optimizing a flawed scorer.
kérdés 1 -ból 8
Melyik ciklus írja le legjobban, hogy az Elutasítási Mintavétel Finomhangolása hogyan javítja a modellt?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Melyik ciklus írja le legjobban, hogy az Elutasítási Mintavétel Finomhangolása hogyan javítja a modellt?
- Hozzon létre sok jelölt választ, tartsa meg a legjobb pontszámot elérteket, és képezze át őket
- Törölje a legrosszabbul teljesítő modellrétegeket
- Vezessen vissza minden edzési adatot, és kezdje elölről
- Minta egyszer, és mindig fogadja el a kimenetet
- Az olyan ellenőrizhető tartományokban, mint a matematika vagy a kód, mi szolgálhat jutalomként?
- Csak tanult jutalommodell
- Akár helyes a válasz, akár sikeresek a tesztek
- A válasz hossza
- A generált tokenek száma
- Which model family does the cited paper describe using rejection sampling in its alignment pipeline?
- GPT-4o
- BERT Base
- Meta’s Llama 2-Chat
- Whisper Large
- Why might a team choose rejection-sampling fine-tuning over a policy-gradient approach for some tasks?
- It never needs a candidate generator or scoring rule
- It guarantees no reward hacking
- It always requires less compute than every RL method
- It can use supervised learning on selected generations instead of updating through policy-gradient RL
- Mire jó a képzés a maximális jutalommal járó mintákon?
- A legjobb N minőséget desztillálja a modell egymintás kimeneteibe
- Növeli a szókincs méretét
- Eltávolítja a modell szöveggenerálási képességét
- Megduplázza a paraméterek számát
- What should teams monitor when repeatedly fine-tuning on filtered model-generated outputs?
- Csak a modellparaméterek száma
- Output diversity alongside held-out correctness
- Whether every answer uses the same wording
- Only the training loss on selected samples
- What is a limitation of rejection-sampling fine-tuning’s candidate selection?
- It can only be used with image labels
- It always changes the tokenizer
- It cannot train on a high-quality answer that was never generated or retained
- It makes the scoring function unnecessary
- What risk arises if the scoring model used to filter candidates is flawed?
- The policy becomes unable to generate any text
- The tokenizer automatically changes vocabulary
- The reference labels become unnecessary
- The policy may learn to exploit the scorer rather than improve the intended quality