Útmutatóhoz kapcsolódó kvíz · Közepes Szint

Jutalommodellező kvíz

Test reward-model scores, preference data, pairwise ranking loss, reward hacking, and best-of-N use in RLHF. Check assumptions and scope.

Kapcsolódó útmutató utakJutalommodellezés
kérdés 1 -ból 8

Mi a jutalommodell elsődleges kimenete egy adott azonnali válasz pár esetében?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Mi a jutalommodell elsődleges kimenete egy adott azonnali válasz pár esetében?
    • Egyetlen skaláris pontszám
    • Teljes szöveges válasz
    • Valószínűségi eloszlás a szókincsben
    • A preferált tokenek listája
  2. What feedback format did the InstructGPT paper collect to train its reward model?
    • A guaranteed correctness label for every possible answer
    • Human rankings of several model responses, converted into pairwise preferences
    • A single sentiment score for each training prompt
    • Only binary safety labels with no response comparisons
  3. Mit optimalizál a szabványos jutalommodell veszteség?
    • Minden válasz abszolút jutalomértéke
    • A következő jelű előrejelzés pontossága
    • Hogy a választott válasz magasabb pontszámot érjen el, mint az elutasított
    • A válaszok hossza
  4. Mi az a „jutalmak hackelése”?
    • Versenytárs jutalommodelljének ellopása
    • Egy módszer az edzés felgyorsítására
    • A jutalomjel titkosítása
    • A politika a jutalmazási modell hibáit kihasználva magas pontszámokat ér el valódi minőség nélkül
  5. Hogyan származik a jutalommodell építészetileg egy nyelvi modellből?
    • A token-előrejelző fej lecserélésével egyetlen skaláris kimeneti fejjel
    • További figyelemrétegek hozzáadásával
    • Az összes transzformátorréteg eltávolításával
    • A szókincs megkettőzésével
  6. Hogyan használják a jutalmazási modellt a következtetés időpontjában az N legjobb mintavételezésénél?
    • N jutalommodell képzése párhuzamosan
    • Több válasz generálása, és a jutalommodell segítségével kiválaszthatja a legmagasabb pontszámot elérőt
    • Az N leggyakoribb token kiválasztása
    • N modell ellenőrzőpontok átlagolása
  7. Why might an RLHF study use an ensemble of reward models during training?
    • To guarantee that reward hacking is impossible
    • To replace the human preference data with exact correctness labels
    • To estimate disagreement or uncertainty across learned preference scorers
    • To ensure every candidate receives the same score
  8. Why should reward-model evaluations include held-out comparisons?
    • To ensure training comparisons are never used
    • To make every output identical
    • To guarantee the reward is unbiased
    • To test whether preferences generalize beyond the training comparisons