Викторина, связанная с руководством · Средний Уровень

FlashВикторина на внимание

Узнайте, как FlashAttention снижает трафик памяти с высокой пропускной способностью при расчете точного внимания и какое оборудование меняет цели FlashAttention-3.

Связанные направляющие путиВспышка внимания
Вопрос 1 из 8

Каковы основные узкие места FlashAttention в стандартном внимании?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. Каковы основные узкие места FlashAttention в стандартном внимании?
    • Чтение и запись большой матрицы внимания для замедления памяти графического процессора.
    • Количество умножений с плавающей запятой
    • Стоимость токенизации входного текста
    • Задержка сети между графическими процессорами
  2. Как результаты FlashAttention соотносятся со стандартным вниманием?
    • Это приближение, в котором точность меняется на скорость.
    • Это математически идентично (точно)
    • Это работает только для коротких последовательностей.
    • Меняет вес модели.
  3. Какую память графического процессора использует FlashAttention для обработки данных в фрагментах?
    • Большая, но медленная память с высокой пропускной способностью (HBM)
    • ОЗУ процессора
    • Маленькая, но очень быстрая встроенная SRAM
    • Дисковое хранилище
  4. Какой метод позволяет FlashAttention вычислять softmax, не просматривая все оценки одновременно?
    • Полный пропуск softmax
    • Округление всех баллов до нуля
    • Предварительное вычисление softmax на процессоре
    • Онлайн (инкрементный) softmax с текущим масштабированием
  5. Поскольку матрица полного внимания никогда не сохраняется в HBM, использование памяти примерно масштабируется:
    • Линейно с длиной последовательности
    • Квадратично с длиной последовательности
    • Экспоненциально с длиной последовательности
    • Независимо от длины последовательности
  6. Which numeric format does FlashAttention-3 use in its Hopper-focused experiments to accelerate attention?
    • Only 64-bit floating point
    • FP8, with techniques to manage its numerical error
    • Integer text tokens
    • No reduced-precision format
  7. What work-partitioning change does FlashAttention-2 introduce to improve GPU parallelism?
    • It stores the complete attention matrix in HBM
    • It replaces attention with convolution
    • It reduces non-matrix-multiplication work and improves parallelization across thread blocks and warps
    • It uses only CPU execution
  8. In FlashAttention-3, what lets data movement overlap with computation?
    • Replacing attention with a lookup table
    • Computing all scores in host memory
    • Disabling the softmax step
    • Asynchronous execution on Hopper hardware