Test legat de ghid · Mediu Nivel
DPO iterativ și chestionar de ajustare a preferințelor online
Learn how iterative DPO refreshes preference data, uses judges, and trades repeated alignment rounds against added cost and bias.
Întrebare 1 de 8
Ce evită DPO de care RLHF tradițional (PPO) cere?
Previzualizează fiecare întrebare8 întrebări
Răspunsurile și explicațiile apar pe măsură ce susțineți testul.
- Ce evită DPO de care RLHF tradițional (PPO) cere?
- Antrenarea unui model de recompensă explicit separat
- Orice date de antrenament
- Utilizarea unei rețele neuronale
- Preferințele umane în întregime
- De ce este adesea mai bine DPO iterativ (online) decât rularea DPO o dată pe un set de date fix?
- Nu are nevoie de etichete de preferințe
- Păstrează datele de antrenament în conformitate cu politica și actuale pe măsură ce modelul se schimbă
- Îndepărtează modelul de referință
- Functioneaza doar pentru imagini
- Ce rol joacă modelul de referință în pierderea DPO?
- Acesta generează rezultatul final al utilizatorului
- Etichetează preferințele
- Ancorează politica printr-un raport log-probabilitate, controlând abaterea
- Înlocuiește tokenizer-ul
- Într-o singură iterație a DPO online, care este secvența tipică?
- Ștergeți modelul, apoi reeducați de la zero
- Reetichetați numai datele vechi fără eșantionare
- Antrenează un CNN cu privire la răspunsuri
- Eșantionați răspunsuri noi, judecați preferințele, apoi rulați o actualizare DPO
- Ce controlează hiperparametrul beta din DPO?
- Cât de puternic se abate politica de la modelul de referință
- Dimensiunea vocabularului
- Numărul de GPU
- Rezoluția imaginii
- Care este ideea cheie din spatele DPO iterativ „auto-recompensator”?
- Modelul nu folosește niciodată preferințe
- Modelul generează și își judecă propriile perechi de răspuns pentru a crea date de antrenament
- Oamenii trebuie să eticheteze fiecare pereche
- Folosește doar recompense aleatorii
- Who can label response preferences in an online DPO iteration?
- Only the tokenizer
- Only the reference policy’s embedding layer
- Human raters or an AI judge such as a reward model
- A discriminator that never sees responses
- What additional work does iterative DPO require compared with using a fixed preference dataset once?
- Training no model parameters
- Removing all evaluation from the pipeline
- Storing every possible response in advance
- Repeated response generation and preference labeling between updates