Útmutatóhoz kapcsolódó kvíz · Kemény Szint
Erősítés finomhangolás gréderekkel kvíz
Azt teszteli, hogy az osztályozók hogyan értékelik a modell kimeneteit, mely feladatok felelnek meg az erősítés finomhangolásának, és hogyan keletkeznek jutalomhackelés és gyenge edzésjelek.
kérdés 1 -ból 8
Miben különbözik az erősítés finomhangolása a felügyelt finomhangolástól?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Miben különbözik az erősítés finomhangolása a felügyelt finomhangolástól?
- It trains the model to imitate exact target outputs
- It rewards sampled outputs a grader scores highly instead of copying examples
- It needs no training prompts
- It only changes the system prompt
- Melyik osztályozó típust használná annak ellenőrzésére, hogy a generált kód valóban működik-e?
- A programmatic grader that runs unit tests
- A string-match grader comparing to one reference function
- A grader that counts words
- No grader is needed for code
- Melyik feladat illik legrosszabbul az RFT-hez az útmutató szerint?
- Classifying items into defined category codes
- Solving maths problems with known answers
- Judging subjective quality where expert graders disagree
- Structured data extraction with a reference answer
- Az erősítés finomhangolása gréderekkel: mi az a jutalomhackelés?
- Stealing another team's grader
- The model learning to satisfy the grader rather than the real intent
- Using too little compute during training
- A grader giving partial credit
- Miért adnak kevés tanulási jelet az olyan promóciók, ahol minden minta ugyanazt a pontszámot kapja, olyan csoport-relatív módszerekben, mint a GRPO?
- Because the grader crashes on them
- Because learning comes from score differences within the group
- Because they are too long
- Because GRPO ignores scores entirely
- What is the purpose of a KL penalty against the original model during RFT?
- To speed up grading
- To limit how far the model drifts from its starting behaviour
- To increase output length
- To replace the grader
- A model grader over-rewards confident, lengthy replies. What is the likely outcome of training against it?
- Outputs drift toward longer, more confident wording
- A modell leállítja a kimenetet
- Accuracy is guaranteed to improve
- The grader becomes stricter automatically
- Which is the best way to check that rising training reward reflects real improvement?
- Trust the training reward curve
- Increase the learning rate
- Spot-check outputs by hand or with an independent grader on held-out data
- Remove the validation set