Kvíz spojený s průvodcem · Těžko úroveň

Kvíz s lineární pozorností a umělci

Kontroluje cenu sekvence softwaru softmax, asociativní přeuspořádání, aproximaci jádra FAVOR+, náhodné vlastnosti a lineární složitost.

Související vodicí cestyLineární pozornost a jádra umělců
Otázka 1 z 8

Proč standardní softmax pozornost špatně škáluje s délkou sekvence?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Proč standardní softmax pozornost špatně škáluje s délkou sekvence?
    • Jeho čas a paměť rostou s druhou mocninou délky sekvence
    • Vyžaduje seřazení všech tokenů podle abecedy
    • Může zpracovávat pouze jeden token najednou
    • Potřebuje samostatnou neuronovou síť na token
  2. Jaká matematická vlastnost umožňuje lineární pozornosti vyhnout se matici n-by-n?
    • Komutativnost sčítání
    • Asociativita násobení matic
    • Distributivní zákon softmax
    • Dekompozice vlastních čísel
  3. Čemu se přibližuje mechanismus Performer's FAVOR+?
    • Aktualizace gradientu sestupu
    • Slovní zásoba tokenizeru
    • Jádro pozornosti softmax
    • Statistika normalizace vrstev
  4. Proč Performer používá pozitivní náhodné rysy spíše než dřívější trigonometrické?
    • Běží rychleji pouze na CPU
    • Eliminují potřebu jakékoli náhodnosti
    • Díky nim je model plně interpretovatelný
    • Zaručují nezáporné váhy pozornosti a zlepšují numerickou stabilitu
  5. Jaká je přibližná složitost lineární pozornosti ve stylu Performer v délce sekvence n?
    • O(n)
    • O(n^2)
    • O(n log n)
    • O(2^n)
  6. Jaké je běžné omezení čistě lineární pozornosti ve srovnání s plnou pozorností softmax?
    • Nemůže běžet na GPU
    • Často dosahuje o něco nižší kvality modelování
    • Funguje pouze pro obrázky
    • Vyžaduje označená data pro každý token
  7. For attention written as phi(Q)(phi(K)^T V), which multiplication can be done first to avoid creating an n-by-n matrix?
    • Compute QK^T and store every pairwise score
    • Apply softmax to the full n-by-n matrix first
    • Compute phi(K)^T V before multiplying by phi(Q)
    • Multiply the final output by the sequence length
  8. What benefit does using orthogonal random features provide in Performer’s FAVOR+ approximation?
    • It guarantees exact softmax for every sequence
    • It removes the need for query and key vectors
    • It makes attention quadratic in sequence length
    • It reduces variance in the random-feature estimate