Quiz collegato alla guida · Medio Livello

Teste di induzione nei quiz sui trasformatori

Esaminare la corrispondenza dei prefissi di induzione, le informazioni sui predecessori, i circuiti cross-layer, le osservazioni di addestramento e i limiti di un meccanismo di apprendimento nel contesto.

Percorsi guida correlatiTeste di induzione nei trasformatori
Domanda 1 di 8

Quale regola attua sostanzialmente una testa ad induzione?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Quale regola attua sostanzialmente una testa ad induzione?
    • Prevedere il token più frequente nella lingua
    • Copia sempre il token precedente senza modifiche
    • Mescola casualmente i segnalini contesto
    • Vedi [A][B] prima, poi su [A] pronostica di nuovo [B]
  2. What capability was linked to induction-head behavior in the cited 2022 study?
    • In-context learning in the examined models, with broader large-model claims framed as hypotheses
    • A proof that every form of reasoning uses only one identical circuit
    • Changing the tokenizer vocabulary during every prompt
    • Permanent weight updates whenever a repeated token appears
  3. Che ruolo gioca la "testa del token precedente" nel circuito di induzione?
    • Genera il softmax finale
    • Rimuove le informazioni sulla posizione
    • Copia in avanti le informazioni del predecessore di ciascun token in modo che possa avvenire la corrispondenza
    • Normalizza i pesi dell'attenzione
  4. Quante teste di attenzione sono tipicamente coinvolte nel circuito di induzione canonica?
    • Esattamente uno
    • Due, composti su strati
    • Centinaia in un unico strato
    • Zero; è solo feed-forward
  5. What training relationship did the induction-head study report in the models it examined?
    • Head formation coincided with changes in loss behavior and increased in-context learning
    • All heads were fully formed before any training
    • Induction behavior could only appear after every parameter was frozen forever
    • The same exact training transition must occur in every future model
  6. Quale compito potrebbe gestire più direttamente una testa a induzione?
    • Calcolo di un gradiente numerico
    • Compressione dei pesi del modello
    • Crittografia della richiesta di input
    • Ripetere una sequenza copiando ciò che è seguito dai token corrispondenti precedenti
  7. What roles do query-key matching and the output-value path play in the canonical induction circuit?
    • Query-key computations generate the final text filename; output-value computations train the tokenizer
    • Query-key computations select the matching context position; output-value computations promote the token information there
    • Both paths only count the total number of context words
    • The output-value path selects a position without any attention pattern
  8. Does a demonstrated two-head induction circuit prove that every large-model in-context task uses that mechanism alone?
    • Yes; every architecture and prompt has already been causally tested
    • Yes; no other network computation can influence a prediction
    • No; the wider explanation remains a hypothesis needing model- and task-specific evidence
    • Only the number of parameters determines whether the proof is universal