Тест, свързан с ръководство · трудно Ниво

Тест за линейно внимание и ядра за изпълнители

Проверява цената на последователността на вниманието на softmax, асоциативното пренареждане, апроксимацията на ядрото FAVOR+, произволните характеристики и линейната сложност.

Свързани ръководни пътекиЯдра за линейно внимание и изпълнител
Въпрос 1 на 8

Защо стандартното softmax внимание се мащабира лошо с дължината на последователността?

Визуализирайте всеки въпрос8 въпроси

Отговорите и обясненията се появяват, докато отговаряте на теста.

  1. Защо стандартното softmax внимание се мащабира лошо с дължината на последователността?
    • Времето и паметта му растат с квадрата на дължината на последователността
    • Изисква сортиране на всички токени по азбучен ред
    • Може да обработва само един токен наведнъж
    • Нуждае се от отделна невронна мрежа за токен
  2. Кое математическо свойство позволява на линейното внимание да избегне матрицата n-по-n?
    • Комутативност на събирането
    • Асоциативност на матрично умножение
    • Законът за разпределение на softmax
    • Разлагане на собствени стойности
  3. Какво приблизително представлява механизмът FAVOR+ на Performer?
    • Актуализации на градиентно спускане
    • Речникът на токенизатора
    • Ядрото за внимание на softmax
    • Статистика за нормализиране на слоя
  4. Защо Performer използва положителни произволни характеристики, а не по-ранните тригонометрични?
    • Те работят по-бързо само на процесори
    • Те елиминират необходимостта от всякаква произволност
    • Те правят модела напълно интерпретируем
    • Те гарантират неотрицателни тегла на вниманието и подобряват числената стабилност
  5. Каква е приблизителната сложност на линейното внимание в стила на изпълнител в дължина на последователност n?
    • O(n)
    • O(n^2)
    • O(n log n)
    • O(2^n)
  6. Какво е общото ограничение на чистото линейно внимание в сравнение с пълното меко максимално внимание?
    • Не може да работи на графични процесори
    • Често постига малко по-ниско качество на моделиране
    • Работи само за изображения
    • Изисква етикетирани данни за всеки токен
  7. For attention written as phi(Q)(phi(K)^T V), which multiplication can be done first to avoid creating an n-by-n matrix?
    • Compute QK^T and store every pairwise score
    • Apply softmax to the full n-by-n matrix first
    • Compute phi(K)^T V before multiplying by phi(Q)
    • Multiply the final output by the sequence length
  8. What benefit does using orthogonal random features provide in Performer’s FAVOR+ approximation?
    • It guarantees exact softmax for every sequence
    • It removes the need for query and key vectors
    • It makes attention quadratic in sequence length
    • It reduces variance in the random-feature estimate