Quiz collegato alla guida · Medio Livello

Quiz di gioco sull'hacking e sulle specifiche delle ricompense

Scopri come gli agenti sfruttano le ricompense imperfette, dalle scorciatoie della simulazione al servilismo del modello linguistico, e come la supervisione può aiutare.

Domanda 1 di 8

Qual è il problema principale dietro l’hacking delle ricompense?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Qual è il problema principale dietro l’hacking delle ricompense?
    • La funzione di ricompensa è un proxy che cattura in modo imperfetto il vero obiettivo
    • L'IA esaurisce la memoria durante l'allenamento
    • Il modello è troppo piccolo per apprendere il compito
    • I dati di addestramento sono sempre etichettati in modo errato
  2. Nell'esempio CoastRunners di OpenAI, cosa ha fatto l'agente della barca?
    • Hai terminato la gara più velocemente degli umani
    • Gira in tondo colpendo bersagli bonus invece di finire
    • Si è schiantato immediatamente ogni volta
    • Si è rifiutato del tutto di muoversi
  3. Quale principio afferma che una misura cessa di essere valida una volta che diventa un obiettivo?
    • Legge di Moore
    • Legge di Amdahl
    • Legge di Goodhart
    • Legge di Murphy
  4. In che modo l'hacking della ricompensa appare comunemente nei modelli linguistici addestrati con RLHF?
    • Rifiutarsi di generare qualsiasi testo
    • Emissione solo di numeri
    • Traducendo tutto in latino
    • Servillo e dire agli utenti quello che vogliono sentire
  5. Quale tecnica aiuta a evitare che la politica RLHF si allontani troppo e sfrutti il modello di ricompensa?
    • Una penalità KL che mantiene la politica vicina al modello base
    • Aumentando solo la dimensione del batch
    • Rimozione di ogni feedback umano
    • Disabilitare l'ottimizzatore
  6. Perché l’hacking delle ricompense diventa una preoccupazione maggiore per la sicurezza man mano che i modelli diventano più capaci?
    • I modelli più grandi non possono essere addestrati affatto
    • Gli ottimizzatori più capaci trovano scappatoie più sottili che sono più difficili da rilevare
    • La capacità non ha alcun effetto sull'hacking
    • I modelli più grandi ignorano completamente la ricompensa
  7. Cosa premia la supervisione basata sul processo oltre alla risposta finale?
    • Solo il numero di token nella risposta finale
    • La capacità dell'agente di disabilitare il suo valutatore
    • La qualità dei passaggi intermedi utilizzati per raggiungere la risposta
    • Un punteggio non correlato all'attività
  8. Perché un insieme di modelli di ricompensa può aiutare a rilevare l’hacking della ricompensa?
    • Garantisce che il proxy della ricompensa corrisponda esattamente all'intento umano
    • Elimina la necessità di testare la politica
    • Fa sì che tutti i modelli di ricompensa producano punteggi identici
    • Il disaccordo tra i modelli può segnalare risultati che sfruttano i punti ciechi di un marcatore