DalšíDalší průvodce
Modely Jamba Hybrid Transformer-Mamba
Jazyk AI
Jazyk AI GUIDE
Induction heads implement a studied prefix-matching and copying behavior: after seeing A followed by B, a later A can favor B.
Poslechněte si tento návodAI-vyprávěný · ~2 min
This provides a concrete mechanism in the transformers examined, while its role in all forms of large-model in-context learning remains a broader hypothesis.
The canonical circuit composes attention heads across layers. An earlier previous-token head writes information about a position's predecessor into that position's representation. A later induction head can match the current token A to a prior position carrying predecessor-A information and promote the token B at that position. Thus the search locates the following-token position, not merely the earlier A itself. The 2022 study reports a relationship between induction-head formation, training-loss behavior, and increased in-context learning in examined models, including stronger causal evidence in small attention-only settings. It presents broader large-model explanations as a hypothesis rather than proving that this two-head circuit accounts for every task or architecture. Applying a learned circuit to prompt examples does not require updating model weights during that inference.
Dokončení opakované náhodné sekvence tokenů jako 'A B C ... A B' předpovídáním 'C' z dřívějšího kontextu.
Několik výstřelů, kde model zkopíruje vstupně-výstupní formát ukázaný v předchozích příkladech.
Naučte se význam vymyšleného slova, který je uveden ve výzvě, a znovu jej správně použijte později ve stejné pasáži.
Věrné opakování dlouhého řetězce nebo seznamu v uvozovkách porovnáním předchozích výskytů jeho tokenů.
Mechanistic work continues to test how copying, matching, and other computations contribute to prompt-conditioned behavior. Distinguish a circuit demonstrated in a studied model from a universal explanation of all language-model learning. Descriptive similarities and hypotheses become stronger through appropriately scoped interventions and evaluations.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Induction heads implement a studied prefix-matching and copying behavior: after seeing A followed by B, a later A can favor B. This provides a concrete mechanism in the transformers examined, while its role in all forms of large-model in-context learning remains a broader hypothesis.
Indukční hlavy provádějí porovnávání prefixů: najdou, kde se aktuální token objevil dříve, a zkopírují vše, co za ním následovalo.
The paper supplies model-specific observations and interventions, not a universal account of every architecture and task.
Hlava předchozího tokenu zapisuje „můj předchůdce byl X“ do zbytkového proudu, což umožňuje indukční hlavě spárovat a kopírovat.
Klasický obvod je dvouhlavý: hlava předchozího tokenu plus indukční hlava, která provádí párování a kopírování.
The observed transition is evidence from the evaluated models; its timing and broader significance should not be generalized without further testing.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Modely Jamba Hybrid Transformer-Mamba
Jazyk AI