Kvíz spojený s průvodcem · Střední úroveň
Indukční hlavy v kvízu o transformátorech
Prohlédněte si porovnávání indukčních prefixů, informace o předchůdcích, obvody mezi vrstvami, trénovací pozorování a limity mechanismu učení v kontextu.
Otázka 1 z 8
Jaké pravidlo v podstatě implementuje indukční hlava?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Jaké pravidlo v podstatě implementuje indukční hlava?
- Předpovězte nejčastější token v jazyce
- Vždy zkopírujte předchozí token beze změny
- Náhodně zamíchejte kontextové tokeny
- Viz [A][B] dříve, poté na [A] znovu předpovězte [B]
- What capability was linked to induction-head behavior in the cited 2022 study?
- In-context learning in the examined models, with broader large-model claims framed as hypotheses
- A proof that every form of reasoning uses only one identical circuit
- Changing the tokenizer vocabulary during every prompt
- Permanent weight updates whenever a repeated token appears
- Jakou roli hraje „hlava předchozího tokenu“ v indukčním obvodu?
- Generuje konečný softmax
- Odstraňuje informace o poloze
- Kopíruje informace o předchůdci každého tokenu dopředu, takže může dojít ke shodě
- Normalizuje váhu pozornosti
- Kolik hlav pozornosti je obvykle zapojeno do kanonického indukčního obvodu?
- Přesně jeden
- Dvě, složené napříč vrstvami
- Stovky v jedné vrstvě
- nula; je pouze dopředný
- What training relationship did the induction-head study report in the models it examined?
- Head formation coincided with changes in loss behavior and increased in-context learning
- All heads were fully formed before any training
- Induction behavior could only appear after every parameter was frozen forever
- The same exact training transition must occur in every future model
- Který úkol by indukční hlava zvládla přímo?
- Výpočet numerického gradientu
- Stlačování závaží modelu
- Šifrování vstupní výzvy
- Opakování sekvence zkopírováním toho, co následovalo po předchozích odpovídajících tokenech
- What roles do query-key matching and the output-value path play in the canonical induction circuit?
- Query-key computations generate the final text filename; output-value computations train the tokenizer
- Query-key computations select the matching context position; output-value computations promote the token information there
- Both paths only count the total number of context words
- The output-value path selects a position without any attention pattern
- Does a demonstrated two-head induction circuit prove that every large-model in-context task uses that mechanism alone?
- Yes; every architecture and prompt has already been causally tested
- Yes; no other network computation can influence a prediction
- No; the wider explanation remains a hypothesis needing model- and task-specific evidence
- Only the number of parameters determines whether the proof is universal