Тест, свързан с ръководство · трудно Ниво

Тест за латентно внимание с няколко глави

Разгледайте споделения латентен кеш на MLA, реконструкцията от нисък ранг, усвояването на проекцията, пътя за позиционно кодиране и спестяванията на паметта за изводи.

Свързани ръководни пътекиСкрито внимание с множество глави
Въпрос 1 на 8

Какъв е основният проблем, за да намали латентното внимание с няколко глави?

Визуализирайте всеки въпрос8 въпроси

Отговорите и обясненията се появяват, докато отговаряте на теста.

  1. Какъв е основният проблем, за да намали латентното внимание с няколко глави?
    • Цената на паметта на кеша ключ-стойност по време на извод
    • Недостиг на данни за обучение
    • Броят на параметрите на модела
    • Размер на речника на Tokenizer
  2. Как MLA свива KV кеша?
    • Той изтрива по-стари токени от кеша
    • Той съхранява малък латентен вектор с нисък ранг вместо пълни ключове и стойности за глава
    • Той използва 1-битови тегла за всичко
    • Пропуска изцяло вниманието върху някои токени
  3. Кой модел за първи път представи латентно внимание с няколко глави?
    • GPT-2
    • БЕРТ
    • DeepSeek-V2
    • LLaMA 1
  4. Защо MLA се нуждае от отделен „отделен“ път за вграждане на ротационни позиции?
    • Защото позициите са без значение за вниманието
    • Защото RoPE удвоява речника
    • Защото ускорява оптимизатора
    • Тъй като ротацията не може да бъде сгъната в абсорбираната проекция нагоре, както може останалата част от ключа
  5. Приблизително колко намаление на паметта на KV-кеша отчете DeepSeek-V2 от MLA спрямо стандартното внимание с няколко глави?
    • над 90%
    • около 5%
    • точно 50%
    • Без намаляване, само увеличаване на скоростта
  6. Каква практическа полза произтича директно от по-малкия кеш на токен на MLA?
    • Премахване на необходимостта от какъвто и да е GPU
    • По-големи размери на пакети за изводи и по-дълги контексти на същия хардуер
    • Автоматичен превод на всички езици
    • Премахване на операцията softmax
  7. What is the purpose of absorbing MLA up-projection weights into other projections?
    • Remove positional information from every token
    • Increase the size of the cached latent
    • Avoid materializing full per-head keys and values during inference
    • Replace attention with a recurrent network
  8. What positional information does MLA handle on a separate decoupled key path?
    • Class labels from the training data
    • Image segmentation maps
    • The output vocabulary probabilities
    • Rotary position embeddings that cannot be absorbed like the other key projections