Вікторина, пов’язана з посібником · важко Рівень

Вікторина «Лінійна увага» та «Ядра виконавців».

Перевіряє вартість послідовності softmax уваги, асоціативне перегрупування, апроксимацію ядра FAVOR+, випадкові функції та лінійну складність.

Пов'язані напрямні шляхиЛінійні ядра уваги та виконавців
Питання 1 з 8

Чому стандартна увага softmax погано залежить від довжини послідовності?

Перегляньте кожне запитання8 запитання

Відповіді та пояснення з’являються під час виконання тесту.

  1. Чому стандартна увага softmax погано залежить від довжини послідовності?
    • Його час і пам'ять зростають разом із квадратом довжини послідовності
    • Це вимагає сортування всіх токенів за алфавітом
    • Він може обробляти лише один маркер за раз
    • Для кожного токена потрібна окрема нейронна мережа
  2. Яка математична властивість дозволяє лінійній увазі уникнути матриці n на n?
    • Комутативность додавання
    • Асоціативність множення матриць
    • Розподільний закон softmax
    • Розклад на власні значення
  3. Що приблизно означає механізм FAVOR+ від Performer?
    • Оновлення градієнтного спуску
    • Словник токенізатора
    • Ядро уваги softmax
    • Статистика нормалізації шару
  4. Чому Performer використовує позитивні випадкові функції, а не попередні тригонометричні?
    • Вони працюють швидше лише на процесорах
    • Вони усувають необхідність будь-якої випадковості
    • Вони роблять модель повністю інтерпретованою
    • Вони гарантують невід’ємні ваги уваги та покращують чисельну стабільність
  5. Яка приблизна складність лінійної уваги у стилі виконавця в послідовності довжиною n?
    • O(n)
    • O(n^2)
    • O(n log n)
    • O(2^n)
  6. Яке загальне обмеження чистої лінійної уваги порівняно з повною м’якою максимальною увагою?
    • Він не може працювати на графічних процесорах
    • Часто досягається дещо нижча якість моделювання
    • Він працює лише для зображень
    • Він вимагає мічених даних для кожного маркера
  7. For attention written as phi(Q)(phi(K)^T V), which multiplication can be done first to avoid creating an n-by-n matrix?
    • Compute QK^T and store every pairwise score
    • Apply softmax to the full n-by-n matrix first
    • Compute phi(K)^T V before multiplying by phi(Q)
    • Multiply the final output by the sequence length
  8. What benefit does using orthogonal random features provide in Performer’s FAVOR+ approximation?
    • It guarantees exact softmax for every sequence
    • It removes the need for query and key vectors
    • It makes attention quadratic in sequence length
    • It reduces variance in the random-feature estimate