Útmutatóhoz kapcsolódó kvíz · Közepes Szint
Indukciós fejek a Transformers kvízben
Review induction prefix matching, predecessor information, cross-layer circuits, training observations, and limits of an in-context learning mechanism.
kérdés 1 -ból 8
Milyen szabályt valósít meg lényegében egy indukciós fej?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Milyen szabályt valósít meg lényegében egy indukciós fej?
- Jósolja meg a nyelv leggyakoribb tokent
- Mindig változatlanul másolja az előző tokent
- Véletlenszerűen keverje össze a kontextusjelzőket
- Lásd [A][B] korábban, majd [A]-n ismét jósolja meg [B]
- What capability was linked to induction-head behavior in the cited 2022 study?
- In-context learning in the examined models, with broader large-model claims framed as hypotheses
- A proof that every form of reasoning uses only one identical circuit
- Changing the tokenizer vocabulary during every prompt
- Permanent weight updates whenever a repeated token appears
- Milyen szerepet játszik az „előző token fej” az indukciós áramkörben?
- Ez generálja a végső softmax-ot
- Eltávolítja a helyzetinformációkat
- Előre másolja az egyes tokenek elődinformációit, így az egyeztetés megtörténhet
- Normalizálja a figyelem súlyát
- Hány figyelemfej van jellemzően a kanonikus indukciós áramkörben?
- Pontosan egy
- Kettő, több rétegben
- Több száz egy rétegben
- nulla; csak előrecsatolható
- What training relationship did the induction-head study report in the models it examined?
- Head formation coincided with changes in loss behavior and increased in-context learning
- All heads were fully formed before any training
- Induction behavior could only appear after every parameter was frozen forever
- The same exact training transition must occur in every future model
- Melyik feladatot oldaná meg a legközvetlenebbül az indukciós fej?
- Numerikus gradiens számítása
- A modell súlyainak tömörítése
- A beviteli prompt titkosítása
- Egy sorozat megismétlése a korábbi egyező tokenek utáni másolásával
- What roles do query-key matching and the output-value path play in the canonical induction circuit?
- Query-key computations generate the final text filename; output-value computations train the tokenizer
- Query-key computations select the matching context position; output-value computations promote the token information there
- Both paths only count the total number of context words
- The output-value path selects a position without any attention pattern
- Does a demonstrated two-head induction circuit prove that every large-model in-context task uses that mechanism alone?
- Yes; every architecture and prompt has already been causally tested
- Yes; no other network computation can influence a prediction
- No; the wider explanation remains a hypothesis needing model- and task-specific evidence
- Only the number of parameters determines whether the proof is universal