Quiz collegato alla guida · Difficile Livello
Apprendimento per rinforzo dal feedback umano Quiz
Esercitarsi sui dati sulle preferenze RLHF, sui proxy di ricompensa e sulla regolarizzazione dei riferimenti, compreso il motivo per cui l'adattamento dei giudizi non garantisce l'accuratezza fattuale.
Domanda 1 di 8
Qual è lo scopo principale di RLHF per un modello linguistico?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Qual è lo scopo principale di RLHF per un modello linguistico?
- Allineare i propri risultati alle preferenze umane in termini di disponibilità e sicurezza
- Per aumentare il conteggio dei parametri del modello
- Per comprimere il modello per un'inferenza più rapida
- Tradurre il modello in altre lingue
- Cosa impara effettivamente a fare il modello di ricompensa in RLHF?
- Genera le risposte finali agli utenti
- Traduci le istruzioni in una valuta di ricompensa
- Assegnare un punteggio scalare che rifletta quanto gli esseri umani preferirebbero una determinata risposta
- Decidere il tasso di apprendimento del modello
- Cosa mira a regolarizzare una penalità di divergenza KL rispetto a una politica di riferimento in un obiettivo RLHF?
- Ogni errore fattuale con una garanzia di correttezza completa
- Quanto la politica ottimizzata si discosta dal riferimento
- L'ortografia del vocabolario del tokenizzatore
- Il numero di annotatori umani automaticamente
- Come vengono generalmente raccolti i dati sulle preferenze per il modello di ricompensa?
- Gli esseri umani scrivono risposte nuove di zecca da zero
- Il modello valuta la propria fiducia
- Le etichette casuali vengono assegnate automaticamente
- Gli esseri umani confrontano due risposte modello allo stesso prompt e scelgono quella migliore
- Quale vantaggio offre DPO (Direct Preference Optimization) rispetto alla classica pipeline RLHF?
- Non richiede alcun dato
- Garantisce che il modello non possa mai essere sbagliato
- Ottimizza la politica direttamente dalle coppie di preferenze, saltando un modello di ricompensa separato e un ciclo PPO
- Elimina la necessità di pre-allenamento
- In RLAIF e nell’IA costituzionale, da dove proviene gran parte del feedback?
- Da un modello di intelligenza artificiale che genera o critica risposte, riducendo l'etichettatura umana
- Solo da annotatori umani pagati
- Dai generatori di numeri casuali
- Direttamente dal corpus di pre-addestramento del modello
- Una risposta RLHF riceve una ricompensa appresa alta ma contiene un'affermazione falsa. Cosa dimostra questo?
- Una ricompensa alta dimostra che l'affermazione è vera
- La risposta deve essere stata generata senza token
- Il vocabolario del modello di riferimento è scomparso
- Una ricompensa basata sulle preferenze è un proxy e può essere errata
- Perché un team RLHF dovrebbe esaminare di chi erano le comparazioni di preferenza raccolte?
- L'identità dell'annotatore determina la frequenza di clock della GPU
- I giudizi e la distribuzione dei compiti determinano ciò che il modello viene premiato
- Ogni popolazione ha preferenze di risposta identiche
- I dati di preferenza influenzano solo la compressione dei file