Uczenie się przez wzmocnienie na podstawie quizu dotyczącego informacji zwrotnych od ludzi

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Jaki jest główny cel RLHF w modelu językowym?
   • Dostosowanie wyników do ludzkich preferencji w zakresie przydatności i bezpieczeństwa
   • Aby zwiększyć liczbę parametrów modelu
   • Aby skompresować model w celu szybszego wnioskowania
   • Aby przetłumaczyć model na inne języki
2. Czego właściwie uczy się model nagrody w RLHF?
   • Wygeneruj ostateczne odpowiedzi dla użytkowników
   • Przetłumacz podpowiedzi na walutę nagrody
   • Przypisz wynik skalarny odzwierciedlający, jak bardzo ludzie woleliby daną reakcję
   • Zdecyduj o szybkości uczenia się modelu
3. Co kara za rozbieżność KL w stosunku do polityki referencyjnej ma na celu uregulowanie celu RLHF?
   • Każdy błąd merytoryczny z pełną gwarancją poprawności
   • Jak daleko zoptymalizowana polityka odbiega od odniesienia
   • Pisownia słownictwa tokenizera
   • Automatyczna liczba ludzkich adnotatorów
4. W jaki sposób zazwyczaj zbierane są dane dotyczące preferencji na potrzeby modelu nagrody?
   • Ludzie piszą od zera zupełnie nowe odpowiedzi
   • Model ocenia swoją pewność siebie
   • Losowe etykiety są przypisywane automatycznie
   • Ludzie porównują dwa modele odpowiedzi na ten sam monit i wybierają lepszą
5. Jaką przewagę oferuje DPO (Direct Preference Optimization) w porównaniu z klasycznym rurociągiem RLHF?
   • Nie wymaga w ogóle żadnych danych
   • Gwarantuje, że model nigdy się nie myli
   • Optymalizuje politykę bezpośrednio na podstawie par preferencji, pomijając odrębny model wynagrodzeń i pętlę PPO
   • Eliminuje potrzebę wstępnego treningu
6. Skąd pochodzi większość informacji zwrotnych w przypadku RLAIF i konstytucyjnej sztucznej inteligencji?
   • Z modelu sztucznej inteligencji generującego lub krytykującego reakcje, ograniczającego etykietowanie przez ludzi
   • Tylko od płatnych ludzkich adnotatorów
   • Z generatorów liczb losowych
   • Bezpośrednio z korpusu przedtreningowego modelu
7. Odpowiedź RLHF otrzymuje wysoką nagrodę, ale zawiera fałszywe twierdzenie. Co to pokazuje?
   • Wysoka nagroda potwierdza, że twierdzenie jest prawdziwe
   • Odpowiedź musiała zostać wygenerowana bez tokenów
   • Zniknęło słownictwo modelu referencyjnego
   • Nagroda oparta na preferencjach ma charakter zastępczy i może być błędna
8. Dlaczego zespół RLHF powinien zbadać, czyje porównania preferencji zostały zebrane?
   • Tożsamość adnotatora określa częstotliwość taktowania procesora graficznego
   • Oceny i podział zadań kształtują to, za co model jest nagradzany
   • Każda populacja ma identyczne preferencje dotyczące reakcji
   • Dane preferencji wpływają tylko na kompresję plików