Il prossimoProssima guida
Modelli Jamba ibridi Transformer-Mamba
Intelligenza artificiale linguistica
GUIDA ALL'AI linguistica
Induction heads implement a studied prefix-matching and copying behavior: after seeing A followed by B, a later A can favor B.
Ascolta questa guidaNarrato dall'IA · ~2 min
This provides a concrete mechanism in the transformers examined, while its role in all forms of large-model in-context learning remains a broader hypothesis.
The canonical circuit composes attention heads across layers. An earlier previous-token head writes information about a position's predecessor into that position's representation. A later induction head can match the current token A to a prior position carrying predecessor-A information and promote the token B at that position. Thus the search locates the following-token position, not merely the earlier A itself. The 2022 study reports a relationship between induction-head formation, training-loss behavior, and increased in-context learning in examined models, including stronger causal evidence in small attention-only settings. It presents broader large-model explanations as a hypothesis rather than proving that this two-head circuit accounts for every task or architecture. Applying a learned circuit to prompt examples does not require updating model weights during that inference.
Completare una sequenza di token casuale ripetuta come "A B C ... A B" prevedendo "C" dal contesto precedente.
Richiesta di pochi scatti in cui il modello copia il formato input-output dimostrato negli esempi precedenti.
Imparare il significato di una parola inventata fornita nel suggerimento e riutilizzarla correttamente più avanti nello stesso passaggio.
Riecheggia fedelmente una stringa o un elenco tra virgolette lunghe abbinando le occorrenze precedenti dei suoi token.
Mechanistic work continues to test how copying, matching, and other computations contribute to prompt-conditioned behavior. Distinguish a circuit demonstrated in a studied model from a universal explanation of all language-model learning. Descriptive similarities and hypotheses become stronger through appropriately scoped interventions and evaluations.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Induction heads implement a studied prefix-matching and copying behavior: after seeing A followed by B, a later A can favor B. This provides a concrete mechanism in the transformers examined, while its role in all forms of large-model in-context learning remains a broader hypothesis.
Le teste di induzione eseguono la corrispondenza del prefisso: trovano dove è apparso prima il token corrente e copiano qualunque cosa lo abbia seguito.
The paper supplies model-specific observations and interventions, not a universal account of every architecture and task.
La testa del token precedente scrive "il mio predecessore era X" nel flusso residuo, consentendo alla testa di induzione di corrispondere e copiare.
Il circuito classico è una composizione a due teste: una testa a gettone precedente più la testa ad induzione che esegue l'abbinamento e la copia.
The observed transition is evidence from the evaluated models; its timing and broader significance should not be generalized without further testing.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Modelli Jamba ibridi Transformer-Mamba
Intelligenza artificiale linguistica