Útmutatóhoz kapcsolódó kvíz · Kemény Szint

Figyelemfelhívás és fejmetszés kvíz

Tests how rollout combines layered attention with residual paths, what head pruning estimates, and what those scores can and cannot explain.

Kapcsolódó útmutató utakFigyelem Kihúzás és Fejmetszés
kérdés 1 -ból 8

Mi a figyelemfelhívás célja?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Mi a figyelemfelhívás célja?
    • A bemeneti jogkivonatoktól a rétegeken keresztüli kimenetekig terjedő kumulatív információáramlás nyomon követése
    • További rétegek hozzáadása a Transformerhez
    • A tanulási arány növelésére
    • A figyelmet konvolúcióvá alakítani
  2. Miért nem elég gyakran egyetlen réteg figyelemtérképe a magyarázathoz?
    • A figyelmet soha nem számítják ki
    • Az információ sok rétegben és fejben keveredik, így az egyik térkép kihagyja a teljes útvonalat
    • A térképek mindig egységesek
    • A transzformátoroknak csak egy fejük van
  3. Mit ad hozzá a figyelemfelhívás az egyes figyelemmátrixokhoz, hogy figyelembe vegyék a fennmaradó kapcsolatokat?
    • Nulla torzítás
    • Egy véletlenszerű zaj kifejezés
    • Identitásmátrix komponens normalizálás előtt
    • Extra softmax
  4. Mit tárt fel a többfejes figyelem kutatása a fej redundanciájáról?
    • Minden fej nélkülözhetetlen
    • A fejeket nem lehet eltávolítani
    • A metszés mindig megduplázza a pontosságot
    • Sok fej metszhető kis pontossági veszteséggel
  5. Hogyan becsülik meg általában a fej fontosságát a metszés során?
    • A veszteség gradiens alapú érzékenysége a fejmaszkra
    • ABC sorrendje szerint
    • Csak a paramétereit számolva
    • A napszakban
  6. What different jobs do attention rollout and head pruning each do?
    • Ezek azonos technikák
    • A kiterjesztés segíti az értelmezést, míg a metszés a redundanciát használja ki a modellek tömörítésére
    • Mindkettő csak paramétereket ad hozzá
    • Egyik sem érinti a figyelmet
  7. In an attention-rollout calculation, why are residual paths included with layer attention?
    • To make every head have the same weight
    • To remove the value vectors from the Transformer
    • To approximate information that can pass along the identity path when layer transitions are composed
    • To prevent the attention matrix from being normalized
  8. How should an attention-rollout score be interpreted?
    • As proof that a token caused the output
    • As the exact value vector used at every layer
    • As a measure of how many heads the model contains
    • As a post-hoc approximation of relative token influence, not a causal explanation