Quiz collegato alla guida · Difficile Livello
Quiz sull'ingegneria dello sterzo e della rappresentazione dell'attivazione
Controlla il modo in cui i vettori di guida dell'attivazione vengono stimati, applicati durante l'inferenza e ridimensionati, insieme ai rischi derivanti dalla generalizzazione dipendente dal prompt.
Domanda 1 di 8
In quale momento del funzionamento del modello interviene lo sterzo di attivazione?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- In quale momento del funzionamento del modello interviene lo sterzo di attivazione?
- Al momento dell'inferenza, modificando le attivazioni nascoste
- Solo durante il preallenamento
- Durante la raccolta dei dati
- Solo dopo che il testo di output è stato stampato
- Come viene comunemente calcolato un vettore di sterzo?
- Inizializzando casualmente una matrice
- Come differenza media tra attivazioni su prompt positivi e negativi contrastanti
- Eliminando i layer dal modello
- Contando i token nel prompt
- Quale ipotesi è alla base del perché l’attivazione dello sterzo funziona?
- L'idea che i modelli memorizzino i dati come testo semplice
- La convinzione che tutti i neuroni siano identici
- L'ipotesi della rappresentazione lineare, secondo cui molte caratteristiche sono direzioni approssimativamente lineari
- L’affermazione che i modelli non possono rappresentare concetti
- Cosa controlla il coefficiente di scala su un vettore di sterzo?
- La dimensione del vocabolario del modello
- Il numero di livelli nel modello
- Il tasso di apprendimento formativo
- Quanto fortemente il comportamento viene spinto nella direzione scelta
- Qual è il rischio noto di guidare un modello in modo troppo aggressivo?
- La coerenza e le capacità dell’output possono peggiorare
- Il modello si addestra automaticamente
- La dimensione del file cresce in modo incontrollabile
- Riscrive permanentemente i pesi
- Quale tecnica viene spesso abbinata allo sterzo per trovare caratteristiche interpretabili da bloccare?
- Compressione JPEG
- Codificatori automatici sparsi che decompongono le attivazioni in funzionalità
- Registrazione del nome di dominio
- Deframmentazione del disco
- Come differisce la guida di attivazione dalla messa a punto dei pesi del modello?
- Ritrena il modello su un nuovo dataset etichettato
- Cambia il vocabolario del tokenizzatore
- Aggiunge un vettore alle attivazioni nascoste durante l'inferenza senza aggiornare i pesi di base
- Sostituisce i livelli di attenzione con un classificatore
- Un vettore di guida funziona sui prompt usati per calcolarlo ma non su un argomento diverso. Quale limitazione illustra questo?
- Il vettore deve essere uno stato dell'ottimizzatore
- La guida richiede sempre la messa a punto
- Un flusso residuo non contiene caratteristiche
- La direzione trovata da un set di prompt potrebbe non generalizzare ad altri contesti