Викторина, связанная с руководством · Жесткий Уровень

Тест на скрытое внимание с несколькими головами

Изучите общий скрытый кеш MLA, низкоранговую реконструкцию, поглощение проекций, путь позиционного кодирования и экономию памяти вывода.

Связанные направляющие путиМногоголовое скрытое внимание
Вопрос 1 из 8

Какую основную проблему призвано решить Multi-Head Latent Attention?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. Какую основную проблему призвано решить Multi-Head Latent Attention?
    • Стоимость памяти кэша значений ключа во время вывода
    • Недостаток данных для обучения
    • Количество параметров модели
    • Размер словаря токенизатора
  2. Как MLA сжимает кэш KV?
    • Он удаляет старые токены из кеша.
    • Он хранит небольшой скрытый вектор низкого ранга вместо полных ключей и значений для каждой головы.
    • Он использует 1-битные веса для всего
    • Он полностью пропускает внимание на некоторых токенах
  3. Какая модель впервые представила систему скрытого внимания с несколькими головками?
    • ГПТ-2
    • БЕРТ
    • ДипСик-В2
    • ЛЛАМА 1
  4. Почему MLA нужен отдельный «развязанный» путь для встраивания поворотных позиций?
    • Потому что позиции не имеют отношения к вниманию
    • Потому что RoPE удваивает словарный запас
    • Потому что это ускоряет оптимизатор
    • Потому что вращение не может быть свернуто в поглощенный выступ вверх, как это может сделать остальная часть ключа.
  5. О каком примерно уменьшении памяти KV-кэша сообщил DeepSeek-V2 из-за MLA по сравнению со стандартным многоголовым вниманием?
    • Более 90%
    • Около 5%
    • Ровно 50%
    • Никакого снижения, только увеличение скорости
  6. Какая практическая польза непосредственно вытекает из меньшего размера кэша каждого токена MLA?
    • Устранение необходимости в каком-либо графическом процессоре
    • Большие размеры пакетов вывода и более длинные контексты на одном и том же оборудовании.
    • Автоматический перевод на все языки
    • Удаление операции softmax
  7. What is the purpose of absorbing MLA up-projection weights into other projections?
    • Remove positional information from every token
    • Increase the size of the cached latent
    • Avoid materializing full per-head keys and values during inference
    • Replace attention with a recurrent network
  8. What positional information does MLA handle on a separate decoupled key path?
    • Class labels from the training data
    • Image segmentation maps
    • The output vocabulary probabilities
    • Rotary position embeddings that cannot be absorbed like the other key projections