Kvíz spojený s průvodcem · Těžko úroveň
Kvíz s lineární pozorností a umělci
Kontroluje cenu sekvence softwaru softmax, asociativní přeuspořádání, aproximaci jádra FAVOR+, náhodné vlastnosti a lineární složitost.
Otázka 1 z 8
Proč standardní softmax pozornost špatně škáluje s délkou sekvence?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Proč standardní softmax pozornost špatně škáluje s délkou sekvence?
- Jeho čas a paměť rostou s druhou mocninou délky sekvence
- Vyžaduje seřazení všech tokenů podle abecedy
- Může zpracovávat pouze jeden token najednou
- Potřebuje samostatnou neuronovou síť na token
- Jaká matematická vlastnost umožňuje lineární pozornosti vyhnout se matici n-by-n?
- Komutativnost sčítání
- Asociativita násobení matic
- Distributivní zákon softmax
- Dekompozice vlastních čísel
- Čemu se přibližuje mechanismus Performer's FAVOR+?
- Aktualizace gradientu sestupu
- Slovní zásoba tokenizeru
- Jádro pozornosti softmax
- Statistika normalizace vrstev
- Proč Performer používá pozitivní náhodné rysy spíše než dřívější trigonometrické?
- Běží rychleji pouze na CPU
- Eliminují potřebu jakékoli náhodnosti
- Díky nim je model plně interpretovatelný
- Zaručují nezáporné váhy pozornosti a zlepšují numerickou stabilitu
- Jaká je přibližná složitost lineární pozornosti ve stylu Performer v délce sekvence n?
- O(n)
- O(n^2)
- O(n log n)
- O(2^n)
- Jaké je běžné omezení čistě lineární pozornosti ve srovnání s plnou pozorností softmax?
- Nemůže běžet na GPU
- Často dosahuje o něco nižší kvality modelování
- Funguje pouze pro obrázky
- Vyžaduje označená data pro každý token
- For attention written as phi(Q)(phi(K)^T V), which multiplication can be done first to avoid creating an n-by-n matrix?
- Compute QK^T and store every pairwise score
- Apply softmax to the full n-by-n matrix first
- Compute phi(K)^T V before multiplying by phi(Q)
- Multiply the final output by the sequence length
- What benefit does using orthogonal random features provide in Performer’s FAVOR+ approximation?
- It guarantees exact softmax for every sequence
- It removes the need for query and key vectors
- It makes attention quadratic in sequence length
- It reduces variance in the random-feature estimate