Gids-gekoppelde quiz · Middelmatig Niveau

Inductiekoppen in Transformers Quiz

Bekijk de matching van inductievoorvoegsels, informatie over de voorganger, cross-layer-circuits, trainingsobservaties en beperkingen van een in-context leermechanisme.

Gerelateerde gidspadenInductiekoppen in transformatoren
Vraag 1 van 8

Welke regel implementeert een inductiekop in essentie?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Welke regel implementeert een inductiekop in essentie?
    • Voorspel het meest voorkomende token in de taal
    • Kopieer altijd het vorige token ongewijzigd
    • Schud de contexttokens willekeurig
    • Zie eerder [A][B] en voorspel vervolgens op [A] opnieuw [B]
  2. What capability was linked to induction-head behavior in the cited 2022 study?
    • In-context learning in the examined models, with broader large-model claims framed as hypotheses
    • A proof that every form of reasoning uses only one identical circuit
    • Changing the tokenizer vocabulary during every prompt
    • Permanent weight updates whenever a repeated token appears
  3. Welke rol speelt de 'vorige tokenkop' in het inductiecircuit?
    • Het genereert de uiteindelijke softmax
    • Het verwijdert positionele informatie
    • Het kopieert de voorgangerinformatie van elk token naar voren, zodat matching kan plaatsvinden
    • Het normaliseert aandachtsgewichten
  4. Hoeveel aandachtshoofden zijn er doorgaans betrokken bij het canonieke inductiecircuit?
    • Precies één
    • Twee, samengesteld over lagen
    • Honderden in één laag
    • Nul; het is alleen feed-forward
  5. What training relationship did the induction-head study report in the models it examined?
    • Head formation coincided with changes in loss behavior and increased in-context learning
    • All heads were fully formed before any training
    • Induction behavior could only appear after every parameter was frozen forever
    • The same exact training transition must occur in every future model
  6. Welke taak zou een inductiekop het meest direct kunnen uitvoeren?
    • Een numerieke gradiënt berekenen
    • Het comprimeren van de gewichten van het model
    • Het coderen van de invoerprompt
    • Een reeks herhalen door te kopiëren wat volgde op eerdere overeenkomende tokens
  7. What roles do query-key matching and the output-value path play in the canonical induction circuit?
    • Query-key computations generate the final text filename; output-value computations train the tokenizer
    • Query-key computations select the matching context position; output-value computations promote the token information there
    • Both paths only count the total number of context words
    • The output-value path selects a position without any attention pattern
  8. Does a demonstrated two-head induction circuit prove that every large-model in-context task uses that mechanism alone?
    • Yes; every architecture and prompt has already been causally tested
    • Yes; no other network computation can influence a prediction
    • No; the wider explanation remains a hypothesis needing model- and task-specific evidence
    • Only the number of parameters determines whether the proof is universal