Quiz połączony z przewodnikiem · Średni Poziom
Iteracyjny inspektor ochrony danych i quiz dotyczący dostrajania preferencji online
Dowiedz się, jak iteracyjny inspektor ochrony danych odświeża dane dotyczące preferencji, wykorzystuje sędziów i wykorzystuje powtarzające się rundy dostosowywania do dodatkowych kosztów i uprzedzeń.
Pytanie 1 z 8
Czego DPO unika, czego wymaga tradycyjny RLHF (PPO)?
Podgląd każdego pytania8 pytania
Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.
- Czego DPO unika, czego wymaga tradycyjny RLHF (PPO)?
- Trenowanie oddzielnego, jawnego modelu nagrody
- Wszelkie dane treningowe
- Korzystanie z sieci neuronowej
- Całkowicie ludzkie preferencje
- Dlaczego iteracyjny (online) DPO jest często lepszy niż jednorazowe uruchomienie DPO na stałym zestawie danych?
- Nie potrzebuje etykiet preferencji
- Dzięki temu dane szkoleniowe są aktualne i aktualne w miarę zmian modelu
- Usuwa model referencyjny
- Działa tylko w przypadku obrazów
- Jaką rolę odgrywa model referencyjny w utracie DPO?
- Generuje końcowe dane wyjściowe użytkownika
- Oznacza preferencje
- Zakotwicza politykę za pomocą współczynnika logarytmicznego prawdopodobieństwa, kontrolując odchylenia
- Zastępuje tokenizer
- Jaka jest typowa sekwencja pojedynczej iteracji DPO online?
- Usuń model, a następnie naucz go ponownie od zera
- Zmień etykietę tylko na stare dane, bez próbkowania
- Przeszkol CNN w zakresie odpowiedzi
- Wypróbuj nowe odpowiedzi, oceń preferencje, a następnie przeprowadź aktualizację DPO
- Co kontroluje hiperparametr beta w DPO?
- Jak bardzo polityka odbiega od modelu referencyjnego
- Rozmiar słownictwa
- Liczba procesorów graficznych
- Rozdzielczość obrazu
- Jaka jest główna idea „samonagradzającego się” iteracyjnego DPO?
- Model nigdy nie korzysta z żadnych preferencji
- Model generuje i ocenia własne pary odpowiedzi w celu utworzenia danych szkoleniowych
- Ludzie muszą oznaczyć każdą parę
- Używa tylko losowych nagród
- Who can label response preferences in an online DPO iteration?
- Only the tokenizer
- Only the reference policy’s embedding layer
- Human raters or an AI judge such as a reward model
- A discriminator that never sees responses
- What additional work does iterative DPO require compared with using a fixed preference dataset once?
- Training no model parameters
- Removing all evaluation from the pipeline
- Storing every possible response in advance
- Repeated response generation and preference labeling between updates