Quiz połączony z przewodnikiem · Średni Poziom
Quiz dotyczący modelowania nagród
Testuj wyniki modelu nagród, dane dotyczące preferencji, utratę rankingu w parach, hakowanie nagród i wykorzystanie najlepszych z N w RLHF. Sprawdź założenia i zakres.
Pytanie 1 z 8
Jaki jest główny wynik modelu nagrody dla danej pary szybkiej reakcji?
Podgląd każdego pytania8 pytania
Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.
- Jaki jest główny wynik modelu nagrody dla danej pary szybkiej reakcji?
- Pojedynczy wynik skalarny
- Pełna treść odpowiedzi
- Rozkład prawdopodobieństwa w słownictwie
- Lista preferowanych tokenów
- What feedback format did the InstructGPT paper collect to train its reward model?
- A guaranteed correctness label for every possible answer
- Human rankings of several model responses, converted into pairwise preferences
- A single sentiment score for each training prompt
- Only binary safety labels with no response comparisons
- Co optymalizuje stratę w standardowym modelu nagrody?
- Bezwzględna wartość nagrody za każdą odpowiedź
- Dokładność przewidywania następnego tokenu
- Wybrana odpowiedź uzyskała wyższy wynik niż odpowiedź odrzucona
- Długość odpowiedzi
- Co to jest „hakowanie nagród”?
- Kradzież modelu nagrody konkurencji
- Sposób na przyspieszenie treningu
- Szyfrowanie sygnału nagrody
- Polityka wykorzystująca wady modelu nagradzania w celu uzyskania wysokich wyników bez prawdziwej jakości
- W jaki sposób model nagrody wywodzi się architektonicznie z modelu językowego?
- Poprzez zastąpienie głowicy przewidywania tokena pojedynczą skalarną głowicą wyjściową
- Dodając więcej warstw uwagi
- Usuwając wszystkie warstwy transformatora
- Podwajając słownictwo
- W jaki sposób model nagrody jest używany w momencie wnioskowania w próbkowaniu typu best-of-N?
- Równolegle trenowane są modele nagród N
- Generowanie wielu odpowiedzi i korzystanie z modelu nagrody w celu wybrania tej z najwyższym wynikiem
- Wybór N najpopularniejszych tokenów
- Uśrednianie punktów kontrolnych modelu N
- Why might an RLHF study use an ensemble of reward models during training?
- To guarantee that reward hacking is impossible
- To replace the human preference data with exact correctness labels
- To estimate disagreement or uncertainty across learned preference scorers
- To ensure every candidate receives the same score
- Why should reward-model evaluations include held-out comparisons?
- To ensure training comparisons are never used
- To make every output identical
- To guarantee the reward is unbiased
- To test whether preferences generalize beyond the training comparisons