Kvíz spojený s průvodcem · Střední úroveň
Kvíz modelování odměn
Otestujte skóre modelu odměn, data preferencí, párovou ztrátu hodnocení, hackování odměn a nejlepší využití v RLHF. Zkontrolujte předpoklady a rozsah.
Otázka 1 z 8
Jaký je primární výstup modelu odměny pro daný pár prompt-response?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Jaký je primární výstup modelu odměny pro daný pár prompt-response?
- Jediné skalární skóre
- Úplná textová odpověď
- Rozložení pravděpodobnosti ve slovní zásobě
- Seznam preferovaných tokenů
- What feedback format did the InstructGPT paper collect to train its reward model?
- A guaranteed correctness label for every possible answer
- Human rankings of several model responses, converted into pairwise preferences
- A single sentiment score for each training prompt
- Only binary safety labels with no response comparisons
- Co optimalizuje ztrátový model standardní odměny?
- Absolutní hodnota odměny za každou odpověď
- Přesnost předpovědi dalšího tokenu
- Že vybraná odpověď má vyšší skóre než zamítnutá
- Délka odpovědí
- Co je to „hackování odměn“?
- Krádež modelu odměny konkurenta
- Metoda pro urychlení tréninku
- Šifrování signálu odměny
- Zásady využívající nedostatky v modelu odměny k získání vysokých skóre bez skutečné kvality
- Jak je model odměn architektonicky odvozen od jazykového modelu?
- Nahrazením token-predikční hlavy jedinou skalární výstupní hlavou
- Přidáním dalších vrstev pozornosti
- Odstraněním všech vrstev transformátoru
- Zdvojením slovní zásoby
- Jak se používá model odměny v době odvození při vzorkování best-of-N?
- Trénink N modelů odměn paralelně
- Generování více odpovědí a použití modelu odměn k výběru té s nejvyšším skóre
- Výběr N nejběžnějších tokenů
- Průměrování N kontrolních bodů modelu
- Why might an RLHF study use an ensemble of reward models during training?
- To guarantee that reward hacking is impossible
- To replace the human preference data with exact correctness labels
- To estimate disagreement or uncertainty across learned preference scorers
- To ensure every candidate receives the same score
- Why should reward-model evaluations include held-out comparisons?
- To ensure training comparisons are never used
- To make every output identical
- To guarantee the reward is unbiased
- To test whether preferences generalize beyond the training comparisons