Útmutatóhoz kapcsolódó kvíz · Közepes Szint

Elutasítási mintavételi finomhangoló kvíz

Covers candidate generation and filtering, verifier-based rewards, supervised retraining, and risks from optimizing a flawed scorer.

Kapcsolódó útmutató utakElutasítási mintavétel finomhangolása
kérdés 1 -ból 8

Melyik ciklus írja le legjobban, hogy az Elutasítási Mintavétel Finomhangolása hogyan javítja a modellt?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Melyik ciklus írja le legjobban, hogy az Elutasítási Mintavétel Finomhangolása hogyan javítja a modellt?
    • Hozzon létre sok jelölt választ, tartsa meg a legjobb pontszámot elérteket, és képezze át őket
    • Törölje a legrosszabbul teljesítő modellrétegeket
    • Vezessen vissza minden edzési adatot, és kezdje elölről
    • Minta egyszer, és mindig fogadja el a kimenetet
  2. Az olyan ellenőrizhető tartományokban, mint a matematika vagy a kód, mi szolgálhat jutalomként?
    • Csak tanult jutalommodell
    • Akár helyes a válasz, akár sikeresek a tesztek
    • A válasz hossza
    • A generált tokenek száma
  3. Which model family does the cited paper describe using rejection sampling in its alignment pipeline?
    • GPT-4o
    • BERT Base
    • Meta’s Llama 2-Chat
    • Whisper Large
  4. Why might a team choose rejection-sampling fine-tuning over a policy-gradient approach for some tasks?
    • It never needs a candidate generator or scoring rule
    • It guarantees no reward hacking
    • It always requires less compute than every RL method
    • It can use supervised learning on selected generations instead of updating through policy-gradient RL
  5. Mire jó a képzés a maximális jutalommal járó mintákon?
    • A legjobb N minőséget desztillálja a modell egymintás kimeneteibe
    • Növeli a szókincs méretét
    • Eltávolítja a modell szöveggenerálási képességét
    • Megduplázza a paraméterek számát
  6. What should teams monitor when repeatedly fine-tuning on filtered model-generated outputs?
    • Csak a modellparaméterek száma
    • Output diversity alongside held-out correctness
    • Whether every answer uses the same wording
    • Only the training loss on selected samples
  7. What is a limitation of rejection-sampling fine-tuning’s candidate selection?
    • It can only be used with image labels
    • It always changes the tokenizer
    • It cannot train on a high-quality answer that was never generated or retained
    • It makes the scoring function unnecessary
  8. What risk arises if the scoring model used to filter candidates is flawed?
    • The policy becomes unable to generate any text
    • The tokenizer automatically changes vocabulary
    • The reference labels become unnecessary
    • The policy may learn to exploit the scorer rather than improve the intended quality