Флэш-викторина на внимание

Ответы и пояснения появляются по мере прохождения теста.

1. Какова основная проблема, на которую нацелена Flash Attention?
   • Чтение и запись большой матрицы внимания для замедления памяти графического процессора.
   • Количество умножений с плавающей запятой во внимании
   • Стоимость загрузки весов моделей с диска
   • Задержка сети между несколькими графическими процессорами
2. Как Flash Attention позволяет избежать хранения полной матрицы внимания NxN?
   • Он аппроксимирует внимание случайными проекциями.
   • Он обрабатывает запросы, ключи и значения небольшими плитками и объединяет частичные результаты.
   • Он полностью пропускает большинство пар токенов.
   • Он сжимает матрицу с квантованием
3. Какой метод позволяет Flash Attention правильно вычислить softmax, не просматривая всю строку сразу?
   • Предварительно вычисленная таблица поиска экспонент
   • Отказ от softmax и использование линейного приближения
   • Текущий (онлайн) softmax, который отслеживает текущий максимум и сумму.
   • Сортировка оценок перед нормализацией
4. По сравнению со стандартным вниманием, результат мгновенного внимания:
   • Грубое приближение, которое меняет точность на скорость
   • Более точный из-за более высокой точности
   • Действительно только для коротких последовательностей
   • Математически идентично, просто вычисляется более эффективно
5. Почему Flash Attention лучше всего помогает при работе с длинными эпизодами?
   • Потому что память внимания растет квадратично с длиной последовательности.
   • Поскольку более длинные последовательности требуют меньше слоев
   • Потому что softmax становится ненужным для длинных вводов
   • Потому что графические процессоры работают медленнее на коротких последовательностях
6. Что приоритетно минимизируется при разработке Flash Attention с учетом ввода-вывода?
   • Количество параметров модели
   • Память читает и записывает между SRAM и HBM.
   • Глубина нейронной сети
   • Размер словаря токенизатора
7. What remains computationally quadratic for dense exact self-attention even when FlashAttention reduces memory traffic?
   • The number of model layers must double
   • Every token is compared with only one other token
   • The number of query-key pair interactions grows with the square of sequence length
   • The number of model parameters becomes zero
8. Why can FlashAttention’s results differ slightly from a reference implementation despite computing the same mathematical attention?
   • It intentionally drops all long-distance tokens
   • It changes the model weights during inference
   • It replaces softmax with a random sample
   • Floating-point operations can occur in a different order during tiled accumulation