Maswali ya Kuzingatia Kiwango

Majibu na maelezo huonekana unapojibu maswali.

1. Je, ni kikwazo gani kikuu ambacho Flash Attention inalenga?
   • Kusoma na kuandika matrix kubwa ya umakini ili kupunguza kasi ya kumbukumbu ya GPU
   • Idadi ya kuzidisha kwa sehemu zinazoelea kwa umakini
   • Gharama ya kupakia uzani wa mfano kutoka kwa diski
   • Muda wa kusubiri wa mtandao kati ya GPU nyingi
2. Je! Uangalifu wa Flash huepuka vipi kuhifadhi matrix kamili ya umakini ya N-na-N?
   • Inakadiria umakini na makadirio ya nasibu
   • Huchakata maswali, funguo na thamani katika vigae vidogo na kuchanganya matokeo kiasi
   • Inaruka jozi nyingi za ishara kabisa
   • Inakandamiza matrix na quantization
3. Ni mbinu gani huruhusu Flash Attention kukokotoa softmax kwa usahihi bila kuona safu mlalo yote mara moja?
   • Jedwali la uchunguzi lililokokotwa mapema la vielelezo
   • Kuangusha softmax na kutumia ukadiriaji wa mstari
   • Upeo laini unaoendesha (mkondoni) ambao unafuatilia max na jumla ya kukimbia
   • Kupanga alama kabla ya kusawazisha
4. Ikilinganishwa na umakini wa kawaida, matokeo ya Flash Attention ni:
   • Ukadiriaji mbaya ambao unabadilisha usahihi kwa kasi
   • Sahihi zaidi kwa sababu ya usahihi wa juu
   • Inatumika kwa mifuatano mifupi pekee
   • Zinafanana kihisabati, zimekokotwa kwa ufanisi zaidi
5. Kwa nini Flash Attention inasaidia zaidi kwa mifuatano mirefu?
   • Kwa sababu kumbukumbu ya umakini hukua mara nne kwa urefu wa mfuatano
   • Kwa sababu mlolongo mrefu unahitaji tabaka chache
   • Kwa sababu softmax inakuwa si ya lazima kwa pembejeo ndefu
   • Kwa sababu GPU hufanya kazi polepole kwenye mfuatano mfupi
6. Je, muundo wa 'IO-aware' wa Flash Attention unatanguliza nini kupunguza?
   • Idadi ya vigezo vya mfano
   • Kumbukumbu inasoma na kuandika kati ya SRAM na HBM
   • Kina cha mtandao wa neva
   • Saizi ya msamiati wa kiashiria
7. What remains computationally quadratic for dense exact self-attention even when FlashAttention reduces memory traffic?
   • The number of model layers must double
   • Every token is compared with only one other token
   • The number of query-key pair interactions grows with the square of sequence length
   • The number of model parameters becomes zero
8. Why can FlashAttention’s results differ slightly from a reference implementation despite computing the same mathematical attention?
   • It intentionally drops all long-distance tokens
   • It changes the model weights during inference
   • It replaces softmax with a random sample
   • Floating-point operations can occur in a different order during tiled accumulation