Útmutatóhoz kapcsolódó kvíz · Kemény Szint

Erősítés finomhangolás gréderekkel kvíz

Azt teszteli, hogy az osztályozók hogyan értékelik a modell kimeneteit, mely feladatok felelnek meg az erősítés finomhangolásának, és hogyan keletkeznek jutalomhackelés és gyenge edzésjelek.

Kapcsolódó útmutató utakMegerősítés finomhangolás gréderekkel
kérdés 1 -ból 8

Miben különbözik az erősítés finomhangolása a felügyelt finomhangolástól?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Miben különbözik az erősítés finomhangolása a felügyelt finomhangolástól?
    • It trains the model to imitate exact target outputs
    • It rewards sampled outputs a grader scores highly instead of copying examples
    • It needs no training prompts
    • It only changes the system prompt
  2. Melyik osztályozó típust használná annak ellenőrzésére, hogy a generált kód valóban működik-e?
    • A programmatic grader that runs unit tests
    • A string-match grader comparing to one reference function
    • A grader that counts words
    • No grader is needed for code
  3. Melyik feladat illik legrosszabbul az RFT-hez az útmutató szerint?
    • Classifying items into defined category codes
    • Solving maths problems with known answers
    • Judging subjective quality where expert graders disagree
    • Structured data extraction with a reference answer
  4. Az erősítés finomhangolása gréderekkel: mi az a jutalomhackelés?
    • Stealing another team's grader
    • The model learning to satisfy the grader rather than the real intent
    • Using too little compute during training
    • A grader giving partial credit
  5. Miért adnak kevés tanulási jelet az olyan promóciók, ahol minden minta ugyanazt a pontszámot kapja, olyan csoport-relatív módszerekben, mint a GRPO?
    • Because the grader crashes on them
    • Because learning comes from score differences within the group
    • Because they are too long
    • Because GRPO ignores scores entirely
  6. What is the purpose of a KL penalty against the original model during RFT?
    • To speed up grading
    • To limit how far the model drifts from its starting behaviour
    • To increase output length
    • To replace the grader
  7. A model grader over-rewards confident, lengthy replies. What is the likely outcome of training against it?
    • Outputs drift toward longer, more confident wording
    • A modell leállítja a kimenetet
    • Accuracy is guaranteed to improve
    • The grader becomes stricter automatically
  8. Which is the best way to check that rising training reward reflects real improvement?
    • Trust the training reward curve
    • Increase the learning rate
    • Spot-check outputs by hand or with an independent grader on held-out data
    • Remove the validation set