Kvíz spojený s průvodcem · Těžko úroveň

Jemné doladění zesílení pomocí kvízu pro srovnávače

Testuje, jak srovnávači skórují výstupy modelu, které úkoly vyhovují jemnému doladění posilování a jak vznikají hackování odměn a slabé tréninkové signály.

Související vodicí cestyJemné doladění výztuže s grejdry
Otázka 1 z 8

Jak se jemné doladění výztuže liší od doladění pod dohledem?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Jak se jemné doladění výztuže liší od doladění pod dohledem?
    • It trains the model to imitate exact target outputs
    • It rewards sampled outputs a grader scores highly instead of copying examples
    • It needs no training prompts
    • It only changes the system prompt
  2. Jaký typ srovnávače byste použili ke kontrole, zda vygenerovaný kód skutečně funguje?
    • A programmatic grader that runs unit tests
    • A string-match grader comparing to one reference function
    • A grader that counts words
    • No grader is needed for code
  3. Který úkol je podle průvodce pro RFT nejchudší?
    • Classifying items into defined category codes
    • Solving maths problems with known answers
    • Judging subjective quality where expert graders disagree
    • Structured data extraction with a reference answer
  4. V Jemném ladění zesílení pomocí srovnávačů: co je hackování odměn?
    • Stealing another team's grader
    • The model learning to satisfy the grader rather than the real intent
    • Using too little compute during training
    • A grader giving partial credit
  5. Proč výzvy, kde každý vzorek dostane stejné skóre, poskytují ve skupinově relativních metodách, jako je GRPO, malý učební signál?
    • Because the grader crashes on them
    • Because learning comes from score differences within the group
    • Because they are too long
    • Because GRPO ignores scores entirely
  6. What is the purpose of a KL penalty against the original model during RFT?
    • To speed up grading
    • To limit how far the model drifts from its starting behaviour
    • To increase output length
    • To replace the grader
  7. A model grader over-rewards confident, lengthy replies. What is the likely outcome of training against it?
    • Outputs drift toward longer, more confident wording
    • Model přestane produkovat výstup
    • Accuracy is guaranteed to improve
    • The grader becomes stricter automatically
  8. Which is the best way to check that rising training reward reflects real improvement?
    • Trust the training reward curve
    • Increase the learning rate
    • Spot-check outputs by hand or with an independent grader on held-out data
    • Remove the validation set