Il prossimoProssima guida
Guanti globali vettori
Intelligenza artificiale linguistica
GUIDA ALL'AI linguistica
Function vectors are activation-space directions that can carry information about an in-context task in some transformer models and settings.
Ascolta questa guidaNarrato dall'IA · ~2 min
Researchers extract them from selected attention-head outputs and test their effects by intervention. They provide evidence about internal task representations, not a guarantee that a model’s complete intent or reasoning can be read from one vector.
Todd and colleagues use causal mediation analysis to identify attention heads whose outputs carry information about a demonstrated in-context task. Aggregating selected head outputs produces a function vector. Injecting it into model activations can trigger the task on zero-shot or different-context inputs in the tested models and tasks. The paper also studies middle-layer effects and whether vectors can be combined to trigger more complex behavior. These results are empirical interventions on selected models, not a general mechanism for every model or task.
Attivare un'attività come "elenca la capitale" su un prompt zero-shot inserendo un vettore estratto dai precedenti esempi pochi-shot.
Controllare il comportamento del modello controllando quale vettore di attività è attivo per rilevare quando un modello cambia silenziosamente obiettivo.
Creazione di una libreria riutilizzabile di indicazioni sulle attività in modo che le applicazioni cambino le funzioni mediante aggiunta invece di nuova richiesta.
Studiare la composizione aggiungendo due vettori di funzioni per vedere se il modello può concatenare operazioni come "tradurre quindi maiuscolo".
Function-vector research offers a way to test how internal activations influence task behavior. Further work must examine how these vectors vary by model, layer, prompt, and task, and whether activation interventions can be made reliable. They should not be treated as complete explanations of a model’s objective or as a standalone safety control.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Function vectors are activation-space directions that can carry information about an in-context task in some transformer models and settings. Researchers extract them from selected attention-head outputs and test their effects by intervention. They provide evidence about internal task representations, not a guarantee that a model’s complete intent or reasoning can be read from one vector.
The paper identifies function vectors as compact representations of demonstrated tasks carried by selected attention-head activations in its tested models.
I ricercatori individuano le teste di attenzione che portano causalmente l'identità del compito e mediano i loro risultati tra le dimostrazioni per formare il vettore.
The authors report that injected vectors can trigger associated tasks without the original examples across tested contexts; this is not a universal guarantee.
L'analisi della mediazione causale identifica quali output della testa dell'attenzione determinano causalmente l'identità del compito, isolando le teste rilevanti.
The paper provides evidence for compact, causal task representations in the studied models and tasks, not proof that all behavior is encoded this way.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Guanti globali vettori
Intelligenza artificiale linguistica