Тест за бързо внимание

Отговорите и обясненията се появяват, докато отговаряте на теста.

1. Кое е основното пречка, към което е насочен Flash Attention?
   • Четене и запис на голямата матрица на вниманието за забавяне на паметта на GPU
   • Броят на умноженията с плаваща запетая на внимание
   • Разходите за зареждане на теглото на модела от диска
   • Мрежово забавяне между множество GPU
2. Как Flash Attention избягва съхраняването на пълната N-по-N матрица за внимание?
   • Той приближава вниманието с произволни проекции
   • Той обработва заявки, ключове и стойности в малки плочки и комбинира частични резултати
   • Той пропуска изцяло повечето двойки токени
   • Той компресира матрицата с квантуване
3. Каква техника позволява на Flash Attention да изчислява правилно softmax, без да вижда целия ред наведнъж?
   • Предварително изчислена справочна таблица на експоненциали
   • Отпадане на softmax и използване на линейно приближение
   • Текущ (онлайн) софтмакс, който проследява текущ максимум и сума
   • Сортиране на резултати преди нормализиране
4. В сравнение със стандартното внимание, резултатът от Flash Attention е:
   • Грубо приближение, което разменя точността за скорост
   • По-точен поради по-висока точност
   • Валидно само за кратки поредици
   • Математически идентични, просто изчислени по-ефективно
5. Защо Flash Attention помага най-много при дълги поредици?
   • Тъй като паметта на вниманието нараства квадратично с дължината на последователността
   • Тъй като по-дългите последователности се нуждаят от по-малко слоеве
   • Тъй като softmax става ненужен за дълги входове
   • Тъй като графичните процесори работят по-бавно при кратки последователности
6. Какво означава „IO-aware“ дизайнът на Flash Attention приоритизира минимизирането?
   • Броят на параметрите на модела
   • Паметта чете и записва между SRAM и HBM
   • Дълбочината на невронната мрежа
   • Размерът на речника на токенизатора
7. What remains computationally quadratic for dense exact self-attention even when FlashAttention reduces memory traffic?
   • The number of model layers must double
   • Every token is compared with only one other token
   • The number of query-key pair interactions grows with the square of sequence length
   • The number of model parameters becomes zero
8. Why can FlashAttention’s results differ slightly from a reference implementation despite computing the same mathematical attention?
   • It intentionally drops all long-distance tokens
   • It changes the model weights during inference
   • It replaces softmax with a random sample
   • Floating-point operations can occur in a different order during tiled accumulation