Kvíz spojený s průvodcem · Střední úroveň
Iterativní DPO a online kvíz ladění preferencí
Zjistěte, jak iterativní DPO obnovuje data preferencí, používá soudce a vyměňuje opakovaná kola zarovnání proti zvýšeným nákladům a zkreslení.
Otázka 1 z 8
Čemu se DPO vyhýbá, co vyžaduje tradiční RLHF (PPO)?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Čemu se DPO vyhýbá, co vyžaduje tradiční RLHF (PPO)?
- Školení samostatného modelu explicitní odměny
- Jakékoli tréninkové údaje
- Pomocí neuronové sítě
- Naprosto lidské preference
- Proč je iterativní (online) DPO často lepší než spuštění DPO jednou na pevném datovém souboru?
- Nepotřebuje žádné preferenční štítky
- Udržuje tréninková data v souladu se zásadami a aktuální, jak se model mění
- Odstraní referenční model
- Funguje pouze pro obrázky
- Jakou roli hraje referenční model ve ztrátě DPO?
- Generuje konečný uživatelský výstup
- Označuje preference
- Ukotvuje politiku prostřednictvím poměru logaritmická pravděpodobnost, který řídí odchylku
- Nahrazuje tokenizér
- Jaká je typická sekvence v jediné iteraci online DPO?
- Smažte model a poté jej přeškolte od začátku
- Pouze přeoznačte stará data bez vzorkování
- Vlak CNN na odpovědi
- Vyzkoušejte nové odpovědi, posuďte preference a poté spusťte aktualizaci DPO
- Co kontroluje hyperparametr beta v DPO?
- Jak silně se politika odchyluje od referenčního modelu
- Velikost slovní zásoby
- Počet GPU
- Rozlišení obrazu
- Jaká je klíčová myšlenka za „sebe-odměňující“ iterativní DPO?
- Model nikdy nepoužívá žádné preference
- Model generuje a posuzuje vlastní páry odpovědí za účelem vytvoření trénovacích dat
- Lidé musí označit každý jednotlivý pár
- Používá pouze náhodné odměny
- Who can label response preferences in an online DPO iteration?
- Only the tokenizer
- Only the reference policy’s embedding layer
- Human raters or an AI judge such as a reward model
- A discriminator that never sees responses
- What additional work does iterative DPO require compared with using a fixed preference dataset once?
- Training no model parameters
- Removing all evaluation from the pipeline
- Storing every possible response in advance
- Repeated response generation and preference labeling between updates