Útmutatóhoz kapcsolódó kvíz · Közepes Szint

Indukciós fejek a Transformers kvízben

Review induction prefix matching, predecessor information, cross-layer circuits, training observations, and limits of an in-context learning mechanism.

Kapcsolódó útmutató utakIndukciós fejek transzformátorokban
kérdés 1 -ból 8

Milyen szabályt valósít meg lényegében egy indukciós fej?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Milyen szabályt valósít meg lényegében egy indukciós fej?
    • Jósolja meg a nyelv leggyakoribb tokent
    • Mindig változatlanul másolja az előző tokent
    • Véletlenszerűen keverje össze a kontextusjelzőket
    • Lásd [A][B] korábban, majd [A]-n ismét jósolja meg [B]
  2. What capability was linked to induction-head behavior in the cited 2022 study?
    • In-context learning in the examined models, with broader large-model claims framed as hypotheses
    • A proof that every form of reasoning uses only one identical circuit
    • Changing the tokenizer vocabulary during every prompt
    • Permanent weight updates whenever a repeated token appears
  3. Milyen szerepet játszik az „előző token fej” az indukciós áramkörben?
    • Ez generálja a végső softmax-ot
    • Eltávolítja a helyzetinformációkat
    • Előre másolja az egyes tokenek elődinformációit, így az egyeztetés megtörténhet
    • Normalizálja a figyelem súlyát
  4. Hány figyelemfej van jellemzően a kanonikus indukciós áramkörben?
    • Pontosan egy
    • Kettő, több rétegben
    • Több száz egy rétegben
    • nulla; csak előrecsatolható
  5. What training relationship did the induction-head study report in the models it examined?
    • Head formation coincided with changes in loss behavior and increased in-context learning
    • All heads were fully formed before any training
    • Induction behavior could only appear after every parameter was frozen forever
    • The same exact training transition must occur in every future model
  6. Melyik feladatot oldaná meg a legközvetlenebbül az indukciós fej?
    • Numerikus gradiens számítása
    • A modell súlyainak tömörítése
    • A beviteli prompt titkosítása
    • Egy sorozat megismétlése a korábbi egyező tokenek utáni másolásával
  7. What roles do query-key matching and the output-value path play in the canonical induction circuit?
    • Query-key computations generate the final text filename; output-value computations train the tokenizer
    • Query-key computations select the matching context position; output-value computations promote the token information there
    • Both paths only count the total number of context words
    • The output-value path selects a position without any attention pattern
  8. Does a demonstrated two-head induction circuit prove that every large-model in-context task uses that mechanism alone?
    • Yes; every architecture and prompt has already been causally tested
    • Yes; no other network computation can influence a prediction
    • No; the wider explanation remains a hypothesis needing model- and task-specific evidence
    • Only the number of parameters determines whether the proof is universal