Maswali yanayounganishwa na mwongozo · Ngumu Kiwango

Utoaji Makini na Maswali ya Kupogoa Kichwa

Hujaribu jinsi uchapishaji unavyochanganya uzingatiaji wa tabaka na njia za mabaki, makadirio gani ya upogoaji, na alama hizo zinaweza na haziwezi kueleza nini.

Njia za mwongozo zinazohusianaUsambazaji wa Makini Na Kupogoa Kichwa
Swali 1 ya 8

Je, lengo la utoaji wa tahadhari ni lipi?

Hakiki kila swali8 maswali

Majibu na maelezo huonekana unapojibu maswali.

  1. Je, lengo la utoaji wa tahadhari ni lipi?
    • Ili kufuatilia mtiririko wa taarifa limbikizi kutoka tokeni za ingizo hadi matokeo katika tabaka
    • Ili kuongeza tabaka zaidi kwa Transformer
    • Ili kuongeza kiwango cha kujifunza
    • Kubadilisha umakini kuwa convolution
  2. Kwa nini ramani ya uangalifu ya safu moja mara nyingi haitoshi kwa maelezo?
    • Uangalifu hauhesabiwi kamwe
    • Taarifa huchanganyika katika tabaka na vichwa vingi, kwa hivyo ramani moja inakosa njia kamili
    • Ramani ni sare kila wakati
    • Transfoma zina kichwa kimoja tu
  3. Utoaji wa umakini huongeza nini kwa kila matrix ya umakini kuhesabu miunganisho ya mabaki?
    • Upendeleo wa sifuri
    • Neno la kelele bila mpangilio
    • Sehemu ya matrix ya utambulisho kabla ya kuhalalisha
    • softmax ya ziada
  4. Utafiti juu ya umakini wa vichwa vingi ulifunua nini juu ya upungufu wa kichwa?
    • Kila kichwa ni muhimu
    • Vichwa haviwezi kuondolewa
    • Kupogoa daima huongeza usahihi maradufu
    • Vichwa vingi vinaweza kukatwa kwa hasara ndogo ya usahihi
  5. Je, umuhimu wa kichwa unakadiriwa vipi kwa kupogoa?
    • Kupitia unyeti wa msingi wa gradient wa kupoteza kwa mask ya kichwa
    • Kwa nafasi yake ya alfabeti
    • Kwa kuhesabu vigezo vyake tu
    • Kwa wakati wa siku
  6. What different jobs do attention rollout and head pruning each do?
    • Ni mbinu zinazofanana
    • Utoaji husaidia kufasiri wakati wa kupogoa hutumia utumiaji wa ziada kubana miundo
    • Wote huongeza tu vigezo
    • Wala haigusi umakini
  7. In an attention-rollout calculation, why are residual paths included with layer attention?
    • To make every head have the same weight
    • To remove the value vectors from the Transformer
    • To approximate information that can pass along the identity path when layer transitions are composed
    • To prevent the attention matrix from being normalized
  8. How should an attention-rollout score be interpreted?
    • As proof that a token caused the output
    • As the exact value vector used at every layer
    • As a measure of how many heads the model contains
    • As a post-hoc approximation of relative token influence, not a causal explanation