Kvíz spojený s průvodcem · Střední úroveň

Iterativní DPO a online kvíz ladění preferencí

Zjistěte, jak iterativní DPO obnovuje data preferencí, používá soudce a vyměňuje opakovaná kola zarovnání proti zvýšeným nákladům a zkreslení.

Otázka 1 z 8

Čemu se DPO vyhýbá, co vyžaduje tradiční RLHF (PPO)?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Čemu se DPO vyhýbá, co vyžaduje tradiční RLHF (PPO)?
    • Školení samostatného modelu explicitní odměny
    • Jakékoli tréninkové údaje
    • Pomocí neuronové sítě
    • Naprosto lidské preference
  2. Proč je iterativní (online) DPO často lepší než spuštění DPO jednou na pevném datovém souboru?
    • Nepotřebuje žádné preferenční štítky
    • Udržuje tréninková data v souladu se zásadami a aktuální, jak se model mění
    • Odstraní referenční model
    • Funguje pouze pro obrázky
  3. Jakou roli hraje referenční model ve ztrátě DPO?
    • Generuje konečný uživatelský výstup
    • Označuje preference
    • Ukotvuje politiku prostřednictvím poměru logaritmická pravděpodobnost, který řídí odchylku
    • Nahrazuje tokenizér
  4. Jaká je typická sekvence v jediné iteraci online DPO?
    • Smažte model a poté jej přeškolte od začátku
    • Pouze přeoznačte stará data bez vzorkování
    • Vlak CNN na odpovědi
    • Vyzkoušejte nové odpovědi, posuďte preference a poté spusťte aktualizaci DPO
  5. Co kontroluje hyperparametr beta v DPO?
    • Jak silně se politika odchyluje od referenčního modelu
    • Velikost slovní zásoby
    • Počet GPU
    • Rozlišení obrazu
  6. Jaká je klíčová myšlenka za „sebe-odměňující“ iterativní DPO?
    • Model nikdy nepoužívá žádné preference
    • Model generuje a posuzuje vlastní páry odpovědí za účelem vytvoření trénovacích dat
    • Lidé musí označit každý jednotlivý pár
    • Používá pouze náhodné odměny
  7. Who can label response preferences in an online DPO iteration?
    • Only the tokenizer
    • Only the reference policy’s embedding layer
    • Human raters or an AI judge such as a reward model
    • A discriminator that never sees responses
  8. What additional work does iterative DPO require compared with using a fixed preference dataset once?
    • Training no model parameters
    • Removing all evaluation from the pipeline
    • Storing every possible response in advance
    • Repeated response generation and preference labeling between updates