Вікторина, пов’язана з посібником · Середній Рівень
Тест на увагу з кількома запитами
Перевірте, як Multi-Query Attention розподіляє заголовки ключ-значення, зменшує трафік кешу та пов’язує увагу згрупованих запитів у моделях декодерів.
Питання 1 з 8
Що поділяє увага на основі кількох запитів між усіма головами уваги?
Перегляньте кожне запитання8 запитання
Відповіді та пояснення з’являються під час виконання тесту.
- Що поділяє увага на основі кількох запитів між усіма головами уваги?
- Єдиний набір ключів і значень
- Проекції запиту
- Температура softmax
- Ваги вихідного шару
- Яке основне вузьке місце, яке MQA вирішує під час авторегресійної генерації?
- Пропускна здатність обчислень з плаваючою комою
- Пропускна здатність пам'яті від завантаження кешу KV
- Кількість епох навчання
- Розмір словника Tokenizer
- Приблизно за якого фактора MQA зменшує кеш KV?
- За довжиною послідовності
- За розміром партії
- За кількістю уваги голів
- Він не змінює розмір кешу KV
- Який основний компроміс використання MQA?
- Набагато повільніший висновок
- Він більше не може використовувати кілька голов взагалі
- Це вимагає набагато більше навчальних даних
- Помірне зниження якості моделі
- Який варіант знаходиться між стандартною увагою кількох голов і MQA?
- Увага на згрупований запит
- Розсувне вікно Увага
- Спалах уваги
- Розріджена увага
- Хто запропонував багатозапитову увагу?
- Джеффрі Хінтон
- Ноам Шазір
- Ян ЛеКун
- Андрій Карпатий
- In Multi-Query Attention, what remains separate for each attention head?
- The shared key projection
- The shared value projection
- The query projection
- The token sequence itself
- How does Grouped-Query Attention differ from standard MQA?
- It shares query projections but gives every head separate keys and values
- It removes attention and replaces it with a recurrent layer
- It groups output vocabulary tokens instead of attention heads
- It shares keys and values within several groups of query heads rather than across all heads at once