Викторина, связанная с руководством · Жесткий Уровень

Викторина «Линейное внимание и исполнительские ядра»

Проверяет стоимость последовательности внимания softmax, ассоциативную перестановку, аппроксимацию ядра FAVOR+, случайные функции и линейную сложность.

Связанные направляющие путиЛинейное внимание и ядра исполнителей
Вопрос 1 из 8

Почему стандартное внимание softmax плохо масштабируется в зависимости от длины последовательности?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. Почему стандартное внимание softmax плохо масштабируется в зависимости от длины последовательности?
    • Его время и память растут пропорционально квадрату длины последовательности.
    • Требуется сортировка всех токенов в алфавитном порядке.
    • Он может обрабатывать только один токен одновременно
    • Для каждого токена требуется отдельная нейронная сеть.
  2. Какое математическое свойство позволяет линейному вниманию избегать матрицы размером n×n?
    • Коммутативность сложения
    • Ассоциативность умножения матриц
    • Распределительный закон softmax
    • Разложение по собственным значениям
  3. Что представляет собой механизм FAVOR+ от Performer?
    • Обновления градиентного спуска
    • Словарь токенизатора
    • Ядро внимания softmax
    • Статистика нормализации слоев
  4. Почему Performer использует положительные случайные признаки, а не более ранние тригонометрические?
    • Они работают быстрее только на процессорах
    • Они устраняют необходимость в любой случайности
    • Они делают модель полностью интерпретируемой.
    • Они гарантируют неотрицательный вес внимания и улучшают числовую стабильность.
  5. Какова примерная сложность линейного внимания в стиле Исполнителя при длине последовательности n?
    • О (п)
    • О(п^2)
    • О (п журнал п)
    • О (2 ^ п)
  6. Каковы общие ограничения чистого линейного внимания по сравнению с полным вниманием softmax?
    • Он не может работать на графических процессорах
    • Часто достигается несколько более низкое качество моделирования.
    • Это работает только для изображений
    • Для каждого токена требуются помеченные данные.
  7. For attention written as phi(Q)(phi(K)^T V), which multiplication can be done first to avoid creating an n-by-n matrix?
    • Compute QK^T and store every pairwise score
    • Apply softmax to the full n-by-n matrix first
    • Compute phi(K)^T V before multiplying by phi(Q)
    • Multiply the final output by the sequence length
  8. What benefit does using orthogonal random features provide in Performer’s FAVOR+ approximation?
    • It guarantees exact softmax for every sequence
    • It removes the need for query and key vectors
    • It makes attention quadratic in sequence length
    • It reduces variance in the random-feature estimate