Maswali yanayounganishwa na mwongozo · Ngumu Kiwango

Maswali ya Usikivu wa Mstari na Maswali ya Kernels za Mwigizaji

Hukagua gharama ya mfuatano wa softmax, upangaji upya shirikishi, ukadiriaji wa kerneli ya FAVOR+, vipengele vya nasibu na utata wa mstari.

Njia za mwongozo zinazohusianaUsikivu wa Mstari na Kernels za Mwigizaji
Swali 1 ya 8

Kwa nini usikivu wa kawaida wa softmax huwa hafifu na urefu wa mlolongo?

Hakiki kila swali8 maswali

Majibu na maelezo huonekana unapojibu maswali.

  1. Kwa nini usikivu wa kawaida wa softmax huwa hafifu na urefu wa mlolongo?
    • Wakati wake na kumbukumbu hukua na mraba wa urefu wa mlolongo
    • Inahitaji kupanga tokeni zote kwa alfabeti
    • Inaweza kuchakata tokeni moja tu kwa wakati mmoja
    • Inahitaji mtandao tofauti wa neva kwa kila tokeni
  2. Ni mali gani ya hisabati huruhusu umakini wa mstari kuzuia matrix ya n-by-n?
    • Commutativity ya kuongeza
    • Ushirikiano wa kuzidisha matrix
    • Sheria ya usambazaji ya softmax
    • Mtengano wa Eigenvalue
  3. Utaratibu wa FAVOR+ wa Performer unakadiria nini?
    • Masasisho ya kushuka kwa gradient
    • Msamiati wa ishara
    • Kiini cha umakini cha softmax
    • Takwimu za urekebishaji wa tabaka
  4. Kwa nini Performer hutumia vipengele vyema vya nasibu badala ya vile vya awali vya trigonometric?
    • Wanaendesha haraka kwenye CPU pekee
    • Wanaondoa hitaji la bahati nasibu yoyote
    • Wanafanya mtindo kufasiriwa kikamilifu
    • Wanahakikisha uzito wa tahadhari zisizo hasi na kuboresha utulivu wa nambari
  5. Je! ni takriban ugumu gani wa umakini wa mstari wa mtindo wa Mwigizaji katika urefu wa mfuatano n?
    • O (n)
    • O(n^2)
    • O(n logi n)
    • O(2^n)
  6. Ni kizuizi gani cha kawaida cha umakini safi wa mstari ikilinganishwa na umakini kamili wa laini?
    • Haiwezi kutumia GPU
    • Mara nyingi hufikia ubora wa chini wa modeli
    • Inafanya kazi kwa picha tu
    • Inahitaji data iliyo na lebo kwa kila tokeni
  7. For attention written as phi(Q)(phi(K)^T V), which multiplication can be done first to avoid creating an n-by-n matrix?
    • Compute QK^T and store every pairwise score
    • Apply softmax to the full n-by-n matrix first
    • Compute phi(K)^T V before multiplying by phi(Q)
    • Multiply the final output by the sequence length
  8. What benefit does using orthogonal random features provide in Performer’s FAVOR+ approximation?
    • It guarantees exact softmax for every sequence
    • It removes the need for query and key vectors
    • It makes attention quadratic in sequence length
    • It reduces variance in the random-feature estimate