Quiz collegato alla guida · Medio Livello

DPO iterativo e quiz di ottimizzazione delle preferenze online

Scopri come il DPO iterativo aggiorna i dati sulle preferenze, utilizza i giudici e scambia cicli di allineamento ripetuti contro costi aggiuntivi e pregiudizi.

Domanda 1 di 8

Cosa evita il DPO rispetto a quanto richiesto dal tradizionale RLHF (PPO)?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Cosa evita il DPO rispetto a quanto richiesto dal tradizionale RLHF (PPO)?
    • Formazione di un modello di ricompensa esplicito separato
    • Eventuali dati di allenamento
    • Utilizzando una rete neurale
    • Preferenze umane interamente
  2. Perché il DPO iterativo (online) è spesso migliore dell'esecuzione del DPO una volta su un set di dati fisso?
    • Non ha bisogno di etichette di preferenza
    • Mantiene i dati di addestramento conformi alle policy e aggiornati man mano che il modello cambia
    • Rimuove il modello di riferimento
    • Funziona solo per le immagini
  3. Che ruolo gioca il modello di riferimento nella perdita del DPO?
    • Genera l'output dell'utente finale
    • Etichetta le preferenze
    • Ancora la politica tramite un rapporto di probabilità logaritmica, controllando la deviazione
    • Sostituisce il tokenizzatore
  4. In una singola iterazione del DPO online, qual è la sequenza tipica?
    • Elimina il modello, quindi riqualificalo da zero
    • Rietichettare solo i vecchi dati senza campionarli
    • Formare una CNN sulle risposte
    • Prova nuove risposte, valuta le preferenze, quindi esegui un aggiornamento DPO
  5. Cosa controlla l'iperparametro beta nel DPO?
    • Quanto fortemente la politica si discosta dal modello di riferimento
    • La dimensione del vocabolario
    • Il numero di GPU
    • La risoluzione dell'immagine
  6. Qual è l'idea chiave dietro il DPO iterativo "autogratificante"?
    • Il modello non utilizza mai le preferenze
    • Il modello genera e valuta le proprie coppie di risposte per creare dati di addestramento
    • Gli esseri umani devono etichettare ogni singola coppia
    • Utilizza solo premi casuali
  7. Who can label response preferences in an online DPO iteration?
    • Only the tokenizer
    • Only the reference policy’s embedding layer
    • Human raters or an AI judge such as a reward model
    • A discriminator that never sees responses
  8. What additional work does iterative DPO require compared with using a fixed preference dataset once?
    • Training no model parameters
    • Removing all evaluation from the pipeline
    • Storing every possible response in advance
    • Repeated response generation and preference labeling between updates