Kvíz spojený s průvodcem · Střední úroveň

Kvíz modelování odměn

Otestujte skóre modelu odměn, data preferencí, párovou ztrátu hodnocení, hackování odměn a nejlepší využití v RLHF. Zkontrolujte předpoklady a rozsah.

Související vodicí cestyModelování odměn
Otázka 1 z 8

Jaký je primární výstup modelu odměny pro daný pár prompt-response?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Jaký je primární výstup modelu odměny pro daný pár prompt-response?
    • Jediné skalární skóre
    • Úplná textová odpověď
    • Rozložení pravděpodobnosti ve slovní zásobě
    • Seznam preferovaných tokenů
  2. What feedback format did the InstructGPT paper collect to train its reward model?
    • A guaranteed correctness label for every possible answer
    • Human rankings of several model responses, converted into pairwise preferences
    • A single sentiment score for each training prompt
    • Only binary safety labels with no response comparisons
  3. Co optimalizuje ztrátový model standardní odměny?
    • Absolutní hodnota odměny za každou odpověď
    • Přesnost předpovědi dalšího tokenu
    • Že vybraná odpověď má vyšší skóre než zamítnutá
    • Délka odpovědí
  4. Co je to „hackování odměn“?
    • Krádež modelu odměny konkurenta
    • Metoda pro urychlení tréninku
    • Šifrování signálu odměny
    • Zásady využívající nedostatky v modelu odměny k získání vysokých skóre bez skutečné kvality
  5. Jak je model odměn architektonicky odvozen od jazykového modelu?
    • Nahrazením token-predikční hlavy jedinou skalární výstupní hlavou
    • Přidáním dalších vrstev pozornosti
    • Odstraněním všech vrstev transformátoru
    • Zdvojením slovní zásoby
  6. Jak se používá model odměny v době odvození při vzorkování best-of-N?
    • Trénink N modelů odměn paralelně
    • Generování více odpovědí a použití modelu odměn k výběru té s nejvyšším skóre
    • Výběr N nejběžnějších tokenů
    • Průměrování N kontrolních bodů modelu
  7. Why might an RLHF study use an ensemble of reward models during training?
    • To guarantee that reward hacking is impossible
    • To replace the human preference data with exact correctness labels
    • To estimate disagreement or uncertainty across learned preference scorers
    • To ensure every candidate receives the same score
  8. Why should reward-model evaluations include held-out comparisons?
    • To ensure training comparisons are never used
    • To make every output identical
    • To guarantee the reward is unbiased
    • To test whether preferences generalize beyond the training comparisons