Útmutatóhoz kapcsolódó kvíz · Közepes Szint
Jutalommodellező kvíz
Test reward-model scores, preference data, pairwise ranking loss, reward hacking, and best-of-N use in RLHF. Check assumptions and scope.
kérdés 1 -ból 8
Mi a jutalommodell elsődleges kimenete egy adott azonnali válasz pár esetében?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Mi a jutalommodell elsődleges kimenete egy adott azonnali válasz pár esetében?
- Egyetlen skaláris pontszám
- Teljes szöveges válasz
- Valószínűségi eloszlás a szókincsben
- A preferált tokenek listája
- What feedback format did the InstructGPT paper collect to train its reward model?
- A guaranteed correctness label for every possible answer
- Human rankings of several model responses, converted into pairwise preferences
- A single sentiment score for each training prompt
- Only binary safety labels with no response comparisons
- Mit optimalizál a szabványos jutalommodell veszteség?
- Minden válasz abszolút jutalomértéke
- A következő jelű előrejelzés pontossága
- Hogy a választott válasz magasabb pontszámot érjen el, mint az elutasított
- A válaszok hossza
- Mi az a „jutalmak hackelése”?
- Versenytárs jutalommodelljének ellopása
- Egy módszer az edzés felgyorsítására
- A jutalomjel titkosítása
- A politika a jutalmazási modell hibáit kihasználva magas pontszámokat ér el valódi minőség nélkül
- Hogyan származik a jutalommodell építészetileg egy nyelvi modellből?
- A token-előrejelző fej lecserélésével egyetlen skaláris kimeneti fejjel
- További figyelemrétegek hozzáadásával
- Az összes transzformátorréteg eltávolításával
- A szókincs megkettőzésével
- Hogyan használják a jutalmazási modellt a következtetés időpontjában az N legjobb mintavételezésénél?
- N jutalommodell képzése párhuzamosan
- Több válasz generálása, és a jutalommodell segítségével kiválaszthatja a legmagasabb pontszámot elérőt
- Az N leggyakoribb token kiválasztása
- N modell ellenőrzőpontok átlagolása
- Why might an RLHF study use an ensemble of reward models during training?
- To guarantee that reward hacking is impossible
- To replace the human preference data with exact correctness labels
- To estimate disagreement or uncertainty across learned preference scorers
- To ensure every candidate receives the same score
- Why should reward-model evaluations include held-out comparisons?
- To ensure training comparisons are never used
- To make every output identical
- To guarantee the reward is unbiased
- To test whether preferences generalize beyond the training comparisons