Викторина «Механизмы внимания»

Ответы и пояснения появляются по мере прохождения теста.

1. What does token attention combine when forming an output representation?
   • Permanent copies of the entire conversation on disk
   • Value information from allowed positions using computed weights
   • Only manually chosen keywords with no learned scores
   • A translation dictionary that removes every other token
2. В каком знаковом документе 2017 года была представлена архитектура трансформатора?
   • «Глубокое остаточное обучение для распознавания изображений»
   • «Игра в Atari с глубоким обучением с подкреплением»
   • «Внимание — это все, что вам нужно»
   • «Генераторно-состязательные сети»
3. Какие три вектора вычисляются для каждого токена внимания?
   • Запрос, ключ и значение
   • Вход, выход и смещение
   • Среднее, медиана и мода
   • Кодер, декодер и потери
4. В формуле softmax(QK^T / √d_k) V зачем делить на √d_k?
   • Чтобы преобразовать результат в целые числа
   • Чтобы удалить отрицательные числа
   • Чтобы модель работала на графическом процессоре
   • Чтобы оценки скалярного произведения не становились слишком большими перед softmax
5. Why does dense self-attention involve growing pairwise work for very long token sequences?
   • Потому что он должен загружать новые данные из Интернета.
   • Потому что более длинный текст всегда содержит более редкие слова.
   • Потому что стоимость растет пропорционально квадрату длины последовательности (O(n²))
   • Потому что он переключается на более медленный язык программирования
6. What capacity does multi-head attention provide through separate learned projections?
   • A guarantee that every head has one unique named meaning
   • Several attention representations that can capture different relationships in parallel
   • Removal of every token embedding
   • A reduction of vocabulary size by definition
7. In a scalar attention example, values two and six receive weights three-quarters and one-quarter. What is their weighted output?
   • Восемь
   • Четыре
   • Два
   • Три
8. What does a causal attention mask prevent in an autoregressive text decoder?
   • Using later token positions when forming the current position's representation
   • Using any previous token
   • Computing any query or key vectors
   • Learning all model parameters