Вікторина, пов’язана з посібником · важко Рівень

Тест на приховану увагу з кількома головами

Дослідіть спільний латентний кеш MLA, реконструкцію низького рангу, поглинання проекції, шлях позиційного кодування та економію пам’яті висновків.

Пов'язані напрямні шляхиБагатоголова прихована увага
Питання 1 з 8

Яку основну проблему покликано зменшити Multi-Head Latent Attention?

Перегляньте кожне запитання8 запитання

Відповіді та пояснення з’являються під час виконання тесту.

  1. Яку основну проблему покликано зменшити Multi-Head Latent Attention?
    • Вартість пам’яті кешу ключ-значення під час висновку
    • Дефіцит навчальних даних
    • Кількість параметрів моделі
    • Розмір словника Tokenizer
  2. Як MLA зменшує кеш KV?
    • Він видаляє старіші токени з кешу
    • Він зберігає невеликий прихований вектор низького рангу замість повних ключів і значень для кожної голови
    • Він використовує 1-бітні ваги для всього
    • Він повністю пропускає увагу на деяких жетонах
  3. Яка модель вперше представила приховану увагу з кількома головами?
    • ГПТ-2
    • БЕРТ
    • DeepSeek-V2
    • LlaMA 1
  4. Чому MLA потрібен окремий «відокремлений» шлях для вбудовування поворотних позицій?
    • Тому що посади не мають значення для уваги
    • Тому що RoPE подвоює словниковий запас
    • Тому що це прискорює оптимізатор
    • Оскільки обертання не можна згорнути в поглинену проекцію вгору, як це можна зробити з рештою ключа
  5. Приблизно, скільки зменшення пам’яті KV-кешу зафіксував DeepSeek-V2 за MLA порівняно зі стандартною увагою кількох головок?
    • понад 90%
    • близько 5%
    • Рівно 50%
    • Жодного зниження, тільки збільшення швидкості
  6. Яка практична вигода випливає безпосередньо з меншого кеша MLA для кожного токена?
    • Усунення необхідності будь-якого GPU
    • Більші розміри пакетів висновків і довші контексти на одному обладнанні
    • Автоматичний переклад на всі мови
    • Видалення операції softmax
  7. What is the purpose of absorbing MLA up-projection weights into other projections?
    • Remove positional information from every token
    • Increase the size of the cached latent
    • Avoid materializing full per-head keys and values during inference
    • Replace attention with a recurrent network
  8. What positional information does MLA handle on a separate decoupled key path?
    • Class labels from the training data
    • Image segmentation maps
    • The output vocabulary probabilities
    • Rotary position embeddings that cannot be absorbed like the other key projections