Тест за механизми на вниманието

Отговорите и обясненията се появяват, докато отговаряте на теста.

1. What does token attention combine when forming an output representation?
   • Permanent copies of the entire conversation on disk
   • Value information from allowed positions using computed weights
   • Only manually chosen keywords with no learned scores
   • A translation dictionary that removes every other token
2. Кой забележителен документ от 2017 г. въвежда трансформаторната архитектура?
   • „Дълбоко остатъчно обучение за разпознаване на изображения“
   • „Игра на Atari с Deep Reinforcement Learning“
   • „Вниманието е всичко, от което се нуждаете“
   • „Генеративни враждебни мрежи“
3. Какви са трите вектора, изчислени за всеки токен на внимание?
   • Заявка, ключ и стойност
   • Вход, изход и отклонение
   • Средна стойност, медиана и мода
   • Енкодер, декодер и загуба
4. Във формулата softmax(QK^T / √d_k) V защо да разделяме на √d_k?
   • За да преобразувате резултата в цели числа
   • За премахване на отрицателни числа
   • За да накарате модела да работи на GPU
   • За да предпазите резултатите от точковия продукт от твърде големи преди softmax
5. Why does dense self-attention involve growing pairwise work for very long token sequences?
   • Тъй като трябва да изтегли нови данни от интернет
   • Защото по-дългият текст винаги съдържа по-редки думи
   • Тъй като цената нараства с квадрата на дължината на последователността (O(n²))
   • Защото превключва на по-бавен език за програмиране
6. What capacity does multi-head attention provide through separate learned projections?
   • A guarantee that every head has one unique named meaning
   • Several attention representations that can capture different relationships in parallel
   • Removal of every token embedding
   • A reduction of vocabulary size by definition
7. In a scalar attention example, values two and six receive weights three-quarters and one-quarter. What is their weighted output?
   • Осем
   • Четири
   • две
   • три
8. What does a causal attention mask prevent in an autoregressive text decoder?
   • Using later token positions when forming the current position's representation
   • Using any previous token
   • Computing any query or key vectors
   • Learning all model parameters