Quiz collegato alla guida · Medio Livello
DPO iterativo e quiz di ottimizzazione delle preferenze online
Scopri come il DPO iterativo aggiorna i dati sulle preferenze, utilizza i giudici e scambia cicli di allineamento ripetuti contro costi aggiuntivi e pregiudizi.
Domanda 1 di 8
Cosa evita il DPO rispetto a quanto richiesto dal tradizionale RLHF (PPO)?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Cosa evita il DPO rispetto a quanto richiesto dal tradizionale RLHF (PPO)?
- Formazione di un modello di ricompensa esplicito separato
- Eventuali dati di allenamento
- Utilizzando una rete neurale
- Preferenze umane interamente
- Perché il DPO iterativo (online) è spesso migliore dell'esecuzione del DPO una volta su un set di dati fisso?
- Non ha bisogno di etichette di preferenza
- Mantiene i dati di addestramento conformi alle policy e aggiornati man mano che il modello cambia
- Rimuove il modello di riferimento
- Funziona solo per le immagini
- Che ruolo gioca il modello di riferimento nella perdita del DPO?
- Genera l'output dell'utente finale
- Etichetta le preferenze
- Ancora la politica tramite un rapporto di probabilità logaritmica, controllando la deviazione
- Sostituisce il tokenizzatore
- In una singola iterazione del DPO online, qual è la sequenza tipica?
- Elimina il modello, quindi riqualificalo da zero
- Rietichettare solo i vecchi dati senza campionarli
- Formare una CNN sulle risposte
- Prova nuove risposte, valuta le preferenze, quindi esegui un aggiornamento DPO
- Cosa controlla l'iperparametro beta nel DPO?
- Quanto fortemente la politica si discosta dal modello di riferimento
- La dimensione del vocabolario
- Il numero di GPU
- La risoluzione dell'immagine
- Qual è l'idea chiave dietro il DPO iterativo "autogratificante"?
- Il modello non utilizza mai le preferenze
- Il modello genera e valuta le proprie coppie di risposte per creare dati di addestramento
- Gli esseri umani devono etichettare ogni singola coppia
- Utilizza solo premi casuali
- Who can label response preferences in an online DPO iteration?
- Only the tokenizer
- Only the reference policy’s embedding layer
- Human raters or an AI judge such as a reward model
- A discriminator that never sees responses
- What additional work does iterative DPO require compared with using a fixed preference dataset once?
- Training no model parameters
- Removing all evaluation from the pipeline
- Storing every possible response in advance
- Repeated response generation and preference labeling between updates