Kvíz spojený s průvodcem · Těžko úroveň
Jemné doladění zesílení pomocí kvízu pro srovnávače
Testuje, jak srovnávači skórují výstupy modelu, které úkoly vyhovují jemnému doladění posilování a jak vznikají hackování odměn a slabé tréninkové signály.
Otázka 1 z 8
Jak se jemné doladění výztuže liší od doladění pod dohledem?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Jak se jemné doladění výztuže liší od doladění pod dohledem?
- It trains the model to imitate exact target outputs
- It rewards sampled outputs a grader scores highly instead of copying examples
- It needs no training prompts
- It only changes the system prompt
- Jaký typ srovnávače byste použili ke kontrole, zda vygenerovaný kód skutečně funguje?
- A programmatic grader that runs unit tests
- A string-match grader comparing to one reference function
- A grader that counts words
- No grader is needed for code
- Který úkol je podle průvodce pro RFT nejchudší?
- Classifying items into defined category codes
- Solving maths problems with known answers
- Judging subjective quality where expert graders disagree
- Structured data extraction with a reference answer
- V Jemném ladění zesílení pomocí srovnávačů: co je hackování odměn?
- Stealing another team's grader
- The model learning to satisfy the grader rather than the real intent
- Using too little compute during training
- A grader giving partial credit
- Proč výzvy, kde každý vzorek dostane stejné skóre, poskytují ve skupinově relativních metodách, jako je GRPO, malý učební signál?
- Because the grader crashes on them
- Because learning comes from score differences within the group
- Because they are too long
- Because GRPO ignores scores entirely
- What is the purpose of a KL penalty against the original model during RFT?
- To speed up grading
- To limit how far the model drifts from its starting behaviour
- To increase output length
- To replace the grader
- A model grader over-rewards confident, lengthy replies. What is the likely outcome of training against it?
- Outputs drift toward longer, more confident wording
- Model přestane produkovat výstup
- Accuracy is guaranteed to improve
- The grader becomes stricter automatically
- Which is the best way to check that rising training reward reflects real improvement?
- Trust the training reward curve
- Increase the learning rate
- Spot-check outputs by hand or with an independent grader on held-out data
- Remove the validation set