Тест, свързан с ръководство · Среден Ниво

Тест за внимание с множество заявки

Тествайте как Multi-Query Attention споделя заглавия ключ-стойност, намалява трафика на кеша и се свързва с вниманието при групирани заявки в модели на декодери.

Свързани ръководни пътекиВнимание за множество заявки
Въпрос 1 на 8

Какво споделя вниманието на множество заявки между всички глави на вниманието?

Визуализирайте всеки въпрос8 въпроси

Отговорите и обясненията се появяват, докато отговаряте на теста.

  1. Какво споделя вниманието на множество заявки между всички глави на вниманието?
    • Единичен набор от ключове и стойности
    • Проекциите на заявката
    • Температурата на softmax
    • Тегла на изходния слой
  2. Какво е основното тясно място, което MQA адресира по време на авторегресивно генериране?
    • Изчислителна производителност с плаваща запетая
    • Ширина на честотната лента на паметта от зареждане на KV кеша
    • Броят на тренировъчните епохи
    • Размер на речника на Tokenizer
  3. Приблизително с какъв фактор MQA свива KV кеша?
    • По дължината на последователността
    • Според размера на партидата
    • По броя на главите на вниманието
    • Не променя размера на KV кеша
  4. Какъв е основният компромис от използването на MQA?
    • Много по-бавно заключение
    • Вече изобщо не може да използва няколко глави
    • Това изисква много повече данни за обучение
    • Скромен спад в качеството на модела
  5. Кой вариант се намира между стандартното многостранно внимание и MQA?
    • Групирана заявка внимание
    • Плъзгащ се прозорец Внимание
    • Светкавично внимание
    • Оскъдно внимание
  6. Кой предложи Multi-Query Attention?
    • Джефри Хинтън
    • Ноам Шазир
    • Ян Лекун
    • Андрей Карпати
  7. In Multi-Query Attention, what remains separate for each attention head?
    • The shared key projection
    • The shared value projection
    • The query projection
    • The token sequence itself
  8. How does Grouped-Query Attention differ from standard MQA?
    • It shares query projections but gives every head separate keys and values
    • It removes attention and replaces it with a recurrent layer
    • It groups output vocabulary tokens instead of attention heads
    • It shares keys and values within several groups of query heads rather than across all heads at once