Kvíz spojený s průvodcem · Střední úroveň

Indukční hlavy v kvízu o transformátorech

Prohlédněte si porovnávání indukčních prefixů, informace o předchůdcích, obvody mezi vrstvami, trénovací pozorování a limity mechanismu učení v kontextu.

Související vodicí cestyIndukční hlavy v transformátorech
Otázka 1 z 8

Jaké pravidlo v podstatě implementuje indukční hlava?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Jaké pravidlo v podstatě implementuje indukční hlava?
    • Předpovězte nejčastější token v jazyce
    • Vždy zkopírujte předchozí token beze změny
    • Náhodně zamíchejte kontextové tokeny
    • Viz [A][B] dříve, poté na [A] znovu předpovězte [B]
  2. What capability was linked to induction-head behavior in the cited 2022 study?
    • In-context learning in the examined models, with broader large-model claims framed as hypotheses
    • A proof that every form of reasoning uses only one identical circuit
    • Changing the tokenizer vocabulary during every prompt
    • Permanent weight updates whenever a repeated token appears
  3. Jakou roli hraje „hlava předchozího tokenu“ v indukčním obvodu?
    • Generuje konečný softmax
    • Odstraňuje informace o poloze
    • Kopíruje informace o předchůdci každého tokenu dopředu, takže může dojít ke shodě
    • Normalizuje váhu pozornosti
  4. Kolik hlav pozornosti je obvykle zapojeno do kanonického indukčního obvodu?
    • Přesně jeden
    • Dvě, složené napříč vrstvami
    • Stovky v jedné vrstvě
    • nula; je pouze dopředný
  5. What training relationship did the induction-head study report in the models it examined?
    • Head formation coincided with changes in loss behavior and increased in-context learning
    • All heads were fully formed before any training
    • Induction behavior could only appear after every parameter was frozen forever
    • The same exact training transition must occur in every future model
  6. Který úkol by indukční hlava zvládla přímo?
    • Výpočet numerického gradientu
    • Stlačování závaží modelu
    • Šifrování vstupní výzvy
    • Opakování sekvence zkopírováním toho, co následovalo po předchozích odpovídajících tokenech
  7. What roles do query-key matching and the output-value path play in the canonical induction circuit?
    • Query-key computations generate the final text filename; output-value computations train the tokenizer
    • Query-key computations select the matching context position; output-value computations promote the token information there
    • Both paths only count the total number of context words
    • The output-value path selects a position without any attention pattern
  8. Does a demonstrated two-head induction circuit prove that every large-model in-context task uses that mechanism alone?
    • Yes; every architecture and prompt has already been causally tested
    • Yes; no other network computation can influence a prediction
    • No; the wider explanation remains a hypothesis needing model- and task-specific evidence
    • Only the number of parameters determines whether the proof is universal