Quiz collegato alla guida · Difficile Livello

Apprendimento per rinforzo dal feedback umano Quiz

Esercitarsi sui dati sulle preferenze RLHF, sui proxy di ricompensa e sulla regolarizzazione dei riferimenti, compreso il motivo per cui l'adattamento dei giudizi non garantisce l'accuratezza fattuale.

Domanda 1 di 8

Qual è lo scopo principale di RLHF per un modello linguistico?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Qual è lo scopo principale di RLHF per un modello linguistico?
    • Allineare i propri risultati alle preferenze umane in termini di disponibilità e sicurezza
    • Per aumentare il conteggio dei parametri del modello
    • Per comprimere il modello per un'inferenza più rapida
    • Tradurre il modello in altre lingue
  2. Cosa impara effettivamente a fare il modello di ricompensa in RLHF?
    • Genera le risposte finali agli utenti
    • Traduci le istruzioni in una valuta di ricompensa
    • Assegnare un punteggio scalare che rifletta quanto gli esseri umani preferirebbero una determinata risposta
    • Decidere il tasso di apprendimento del modello
  3. Cosa mira a regolarizzare una penalità di divergenza KL rispetto a una politica di riferimento in un obiettivo RLHF?
    • Ogni errore fattuale con una garanzia di correttezza completa
    • Quanto la politica ottimizzata si discosta dal riferimento
    • L'ortografia del vocabolario del tokenizzatore
    • Il numero di annotatori umani automaticamente
  4. Come vengono generalmente raccolti i dati sulle preferenze per il modello di ricompensa?
    • Gli esseri umani scrivono risposte nuove di zecca da zero
    • Il modello valuta la propria fiducia
    • Le etichette casuali vengono assegnate automaticamente
    • Gli esseri umani confrontano due risposte modello allo stesso prompt e scelgono quella migliore
  5. Quale vantaggio offre DPO (Direct Preference Optimization) rispetto alla classica pipeline RLHF?
    • Non richiede alcun dato
    • Garantisce che il modello non possa mai essere sbagliato
    • Ottimizza la politica direttamente dalle coppie di preferenze, saltando un modello di ricompensa separato e un ciclo PPO
    • Elimina la necessità di pre-allenamento
  6. In RLAIF e nell’IA costituzionale, da dove proviene gran parte del feedback?
    • Da un modello di intelligenza artificiale che genera o critica risposte, riducendo l'etichettatura umana
    • Solo da annotatori umani pagati
    • Dai generatori di numeri casuali
    • Direttamente dal corpus di pre-addestramento del modello
  7. Una risposta RLHF riceve una ricompensa appresa alta ma contiene un'affermazione falsa. Cosa dimostra questo?
    • Una ricompensa alta dimostra che l'affermazione è vera
    • La risposta deve essere stata generata senza token
    • Il vocabolario del modello di riferimento è scomparso
    • Una ricompensa basata sulle preferenze è un proxy e può essere errata
  8. Perché un team RLHF dovrebbe esaminare di chi erano le comparazioni di preferenza raccolte?
    • L'identità dell'annotatore determina la frequenza di clock della GPU
    • I giudizi e la distribuzione dei compiti determinano ciò che il modello viene premiato
    • Ogni popolazione ha preferenze di risposta identiche
    • I dati di preferenza influenzano solo la compressione dei file