Chestionar privind atenția liniară și nucleele interpretului

Răspunsurile și explicațiile apar pe măsură ce susțineți testul.

1. De ce atenția standard softmax este redusă cu lungimea secvenței?
   • Timpul și memoria sa cresc odată cu pătratul lungimii secvenței
   • Necesită sortarea alfabetică a tuturor jetoanelor
   • Poate procesa doar un token la un moment dat
   • Are nevoie de o rețea neuronală separată pentru fiecare token
2. Ce proprietate matematică permite atenției liniare să evite matricea n-cu-n?
   • Comutativitatea adunării
   • Asociativitatea înmulțirii matriceale
   • Legea distributivă a softmax
   • Descompunerea valorilor proprii
3. Ce aproximează mecanismul Performer's FAVOR+?
   • Actualizări de coborâre în gradient
   • Vocabularul tokenizer
   • Nucleul de atenție softmax
   • Statistici de normalizare a straturilor
4. De ce folosește Performer caracteristici aleatoare pozitive mai degrabă decât cele trigonometrice anterioare?
   • Ele rulează mai repede doar pe procesoare
   • Ele elimină nevoia de orice fel de aleatoriu
   • Ele fac modelul pe deplin interpretabil
   • Acestea garantează ponderi de atenție non-negative și îmbunătățesc stabilitatea numerică
5. Care este complexitatea aproximativă a atenției liniare în stilul interpretului în lungimea secvenței n?
   • O(n)
   • O(n^2)
   • O(n log n)
   • O(2^n)
6. Care este o limitare comună a atenției liniare pur în comparație cu atenția completă softmax?
   • Nu poate rula pe GPU
   • Adesea, obține o calitate de modelare puțin mai scăzută
   • Functioneaza doar pentru imagini
   • Necesită date etichetate pentru fiecare token
7. For attention written as phi(Q)(phi(K)^T V), which multiplication can be done first to avoid creating an n-by-n matrix?
   • Compute QK^T and store every pairwise score
   • Apply softmax to the full n-by-n matrix first
   • Compute phi(K)^T V before multiplying by phi(Q)
   • Multiply the final output by the sequence length
8. What benefit does using orthogonal random features provide in Performer’s FAVOR+ approximation?
   • It guarantees exact softmax for every sequence
   • It removes the need for query and key vectors
   • It makes attention quadratic in sequence length
   • It reduces variance in the random-feature estimate