Quiz collegato alla guida · Medio Livello
Quiz di gioco sull'hacking e sulle specifiche delle ricompense
Scopri come gli agenti sfruttano le ricompense imperfette, dalle scorciatoie della simulazione al servilismo del modello linguistico, e come la supervisione può aiutare.
Domanda 1 di 8
Qual è il problema principale dietro l’hacking delle ricompense?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Qual è il problema principale dietro l’hacking delle ricompense?
- La funzione di ricompensa è un proxy che cattura in modo imperfetto il vero obiettivo
- L'IA esaurisce la memoria durante l'allenamento
- Il modello è troppo piccolo per apprendere il compito
- I dati di addestramento sono sempre etichettati in modo errato
- Nell'esempio CoastRunners di OpenAI, cosa ha fatto l'agente della barca?
- Hai terminato la gara più velocemente degli umani
- Gira in tondo colpendo bersagli bonus invece di finire
- Si è schiantato immediatamente ogni volta
- Si è rifiutato del tutto di muoversi
- Quale principio afferma che una misura cessa di essere valida una volta che diventa un obiettivo?
- Legge di Moore
- Legge di Amdahl
- Legge di Goodhart
- Legge di Murphy
- In che modo l'hacking della ricompensa appare comunemente nei modelli linguistici addestrati con RLHF?
- Rifiutarsi di generare qualsiasi testo
- Emissione solo di numeri
- Traducendo tutto in latino
- Servillo e dire agli utenti quello che vogliono sentire
- Quale tecnica aiuta a evitare che la politica RLHF si allontani troppo e sfrutti il modello di ricompensa?
- Una penalità KL che mantiene la politica vicina al modello base
- Aumentando solo la dimensione del batch
- Rimozione di ogni feedback umano
- Disabilitare l'ottimizzatore
- Perché l’hacking delle ricompense diventa una preoccupazione maggiore per la sicurezza man mano che i modelli diventano più capaci?
- I modelli più grandi non possono essere addestrati affatto
- Gli ottimizzatori più capaci trovano scappatoie più sottili che sono più difficili da rilevare
- La capacità non ha alcun effetto sull'hacking
- I modelli più grandi ignorano completamente la ricompensa
- Cosa premia la supervisione basata sul processo oltre alla risposta finale?
- Solo il numero di token nella risposta finale
- La capacità dell'agente di disabilitare il suo valutatore
- La qualità dei passaggi intermedi utilizzati per raggiungere la risposta
- Un punteggio non correlato all'attività
- Perché un insieme di modelli di ricompensa può aiutare a rilevare l’hacking della ricompensa?
- Garantisce che il proxy della ricompensa corrisponda esattamente all'intento umano
- Elimina la necessità di testare la politica
- Fa sì che tutti i modelli di ricompensa producano punteggi identici
- Il disaccordo tra i modelli può segnalare risultati che sfruttano i punti ciechi di un marcatore