Quiz collegato alla guida · Medio Livello
Quiz sulla modellazione delle ricompense
Testa i punteggi del modello di ricompensa, i dati sulle preferenze, la perdita di ranking a coppie, l'hacking della ricompensa e l'utilizzo al meglio di N in RLHF. Verificare le ipotesi e l'ambito.
Domanda 1 di 8
Qual è l'output principale di un modello di ricompensa per una determinata coppia di risposta rapida?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Qual è l'output principale di un modello di ricompensa per una determinata coppia di risposta rapida?
- Un singolo punteggio scalare
- Una risposta a testo completo
- Una distribuzione di probabilità sul vocabolario
- Un elenco di token preferiti
- What feedback format did the InstructGPT paper collect to train its reward model?
- A guaranteed correctness label for every possible answer
- Human rankings of several model responses, converted into pairwise preferences
- A single sentiment score for each training prompt
- Only binary safety labels with no response comparisons
- Cosa ottimizza la perdita del modello di ricompensa standard?
- Il valore di ricompensa assoluto di ogni risposta
- La precisione della previsione del token successivo
- Che la risposta scelta abbia un punteggio più alto di quella rifiutata
- La lunghezza delle risposte
- Cos'è il "reward hacking"?
- Rubare il modello di ricompensa di un concorrente
- Un metodo per velocizzare l'allenamento
- Crittografia del segnale di ricompensa
- La politica sfrutta i difetti del modello di ricompensa per ottenere punteggi elevati senza una vera qualità
- In che modo un modello di ricompensa deriva architettonicamente da un modello linguistico?
- Sostituendo la testina di previsione del token con una singola testina di output scalare
- Aggiungendo più livelli di attenzione
- Rimuovendo tutti gli strati del trasformatore
- Raddoppiando il vocabolario
- Come viene utilizzato un modello di ricompensa al momento dell'inferenza nel campionamento al meglio di N?
- Addestramento di N modelli di ricompensa in parallelo
- Generazione di risposte multiple e utilizzo del modello di ricompensa per scegliere quella con il punteggio più alto
- Selezionando gli N gettoni più comuni
- Media di N checkpoint del modello
- Why might an RLHF study use an ensemble of reward models during training?
- To guarantee that reward hacking is impossible
- To replace the human preference data with exact correctness labels
- To estimate disagreement or uncertainty across learned preference scorers
- To ensure every candidate receives the same score
- Why should reward-model evaluations include held-out comparisons?
- To ensure training comparisons are never used
- To make every output identical
- To guarantee the reward is unbiased
- To test whether preferences generalize beyond the training comparisons