Quiz collegato alla guida · Medio Livello

Quiz sulla modellazione delle ricompense

Testa i punteggi del modello di ricompensa, i dati sulle preferenze, la perdita di ranking a coppie, l'hacking della ricompensa e l'utilizzo al meglio di N in RLHF. Verificare le ipotesi e l'ambito.

Percorsi guida correlatiModellazione delle ricompense
Domanda 1 di 8

Qual è l'output principale di un modello di ricompensa per una determinata coppia di risposta rapida?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Qual è l'output principale di un modello di ricompensa per una determinata coppia di risposta rapida?
    • Un singolo punteggio scalare
    • Una risposta a testo completo
    • Una distribuzione di probabilità sul vocabolario
    • Un elenco di token preferiti
  2. What feedback format did the InstructGPT paper collect to train its reward model?
    • A guaranteed correctness label for every possible answer
    • Human rankings of several model responses, converted into pairwise preferences
    • A single sentiment score for each training prompt
    • Only binary safety labels with no response comparisons
  3. Cosa ottimizza la perdita del modello di ricompensa standard?
    • Il valore di ricompensa assoluto di ogni risposta
    • La precisione della previsione del token successivo
    • Che la risposta scelta abbia un punteggio più alto di quella rifiutata
    • La lunghezza delle risposte
  4. Cos'è il "reward hacking"?
    • Rubare il modello di ricompensa di un concorrente
    • Un metodo per velocizzare l'allenamento
    • Crittografia del segnale di ricompensa
    • La politica sfrutta i difetti del modello di ricompensa per ottenere punteggi elevati senza una vera qualità
  5. In che modo un modello di ricompensa deriva architettonicamente da un modello linguistico?
    • Sostituendo la testina di previsione del token con una singola testina di output scalare
    • Aggiungendo più livelli di attenzione
    • Rimuovendo tutti gli strati del trasformatore
    • Raddoppiando il vocabolario
  6. Come viene utilizzato un modello di ricompensa al momento dell'inferenza nel campionamento al meglio di N?
    • Addestramento di N modelli di ricompensa in parallelo
    • Generazione di risposte multiple e utilizzo del modello di ricompensa per scegliere quella con il punteggio più alto
    • Selezionando gli N gettoni più comuni
    • Media di N checkpoint del modello
  7. Why might an RLHF study use an ensemble of reward models during training?
    • To guarantee that reward hacking is impossible
    • To replace the human preference data with exact correctness labels
    • To estimate disagreement or uncertainty across learned preference scorers
    • To ensure every candidate receives the same score
  8. Why should reward-model evaluations include held-out comparisons?
    • To ensure training comparisons are never used
    • To make every output identical
    • To guarantee the reward is unbiased
    • To test whether preferences generalize beyond the training comparisons