Quiz collegato alla guida · Difficile Livello

Quiz sull'ingegneria dello sterzo e della rappresentazione dell'attivazione

Controlla il modo in cui i vettori di guida dell'attivazione vengono stimati, applicati durante l'inferenza e ridimensionati, insieme ai rischi derivanti dalla generalizzazione dipendente dal prompt.

Domanda 1 di 8

In quale momento del funzionamento del modello interviene lo sterzo di attivazione?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. In quale momento del funzionamento del modello interviene lo sterzo di attivazione?
    • Al momento dell'inferenza, modificando le attivazioni nascoste
    • Solo durante il preallenamento
    • Durante la raccolta dei dati
    • Solo dopo che il testo di output è stato stampato
  2. Come viene comunemente calcolato un vettore di sterzo?
    • Inizializzando casualmente una matrice
    • Come differenza media tra attivazioni su prompt positivi e negativi contrastanti
    • Eliminando i layer dal modello
    • Contando i token nel prompt
  3. Quale ipotesi è alla base del perché l’attivazione dello sterzo funziona?
    • L'idea che i modelli memorizzino i dati come testo semplice
    • La convinzione che tutti i neuroni siano identici
    • L'ipotesi della rappresentazione lineare, secondo cui molte caratteristiche sono direzioni approssimativamente lineari
    • L’affermazione che i modelli non possono rappresentare concetti
  4. Cosa controlla il coefficiente di scala su un vettore di sterzo?
    • La dimensione del vocabolario del modello
    • Il numero di livelli nel modello
    • Il tasso di apprendimento formativo
    • Quanto fortemente il comportamento viene spinto nella direzione scelta
  5. Qual è il rischio noto di guidare un modello in modo troppo aggressivo?
    • La coerenza e le capacità dell’output possono peggiorare
    • Il modello si addestra automaticamente
    • La dimensione del file cresce in modo incontrollabile
    • Riscrive permanentemente i pesi
  6. Quale tecnica viene spesso abbinata allo sterzo per trovare caratteristiche interpretabili da bloccare?
    • Compressione JPEG
    • Codificatori automatici sparsi che decompongono le attivazioni in funzionalità
    • Registrazione del nome di dominio
    • Deframmentazione del disco
  7. Come differisce la guida di attivazione dalla messa a punto dei pesi del modello?
    • Ritrena il modello su un nuovo dataset etichettato
    • Cambia il vocabolario del tokenizzatore
    • Aggiunge un vettore alle attivazioni nascoste durante l'inferenza senza aggiornare i pesi di base
    • Sostituisce i livelli di attenzione con un classificatore
  8. Un vettore di guida funziona sui prompt usati per calcolarlo ma non su un argomento diverso. Quale limitazione illustra questo?
    • Il vettore deve essere uno stato dell'ottimizzatore
    • La guida richiede sempre la messa a punto
    • Un flusso residuo non contiene caratteristiche
    • La direzione trovata da un set di prompt potrebbe non generalizzare ad altri contesti