Вікторина, пов’язана з посібником · Середній Рівень

Вікторина ALiBi Position Bias

Перевірте, як ALiBi додає зміщення уваги на основі відстані та підтримує довші послідовності висновків без таблиць абсолютних позицій.

Пов'язані напрямні шляхиУпередження позиції алібі
Питання 1 з 8

Що означає ALiBi?

Перегляньте кожне запитання8 запитання

Відповіді та пояснення з’являються під час виконання тесту.

  1. Що означає ALiBi?
    • Увага з лінійними зміщеннями
    • Адаптивне лінійне зміщення
    • Вирівняне двонаправлене кодування
    • Абсолютне лінійне індексування
  2. Як ALiBi штрафує віддалені токени?
    • Обнуливши вбудовування за межі фіксованого вікна
    • Шляхом додавання штрафу, пропорційного відстані між запитом і ключовими позиціями
    • Вивчаючи окреме вбудовування для кожної позиції
    • Обертанням запиту та ключових векторів
  3. Яка найвідоміша практична перевага ALiBi?
    • Це усуває потребу в softmax
    • Це змушує увагу працювати в постійній пам'яті
    • Він добре екстраполюється на послідовності, довші за ті, що спостерігаються під час навчання
    • Це усуває необхідність приділяти багато уваги головам
  4. Чим відрізняється лінійне зміщення між головами уваги?
    • Кожна головка має однаковий нахил
    • Нахили вивчаються під час навчання
    • Ухил отримує лише перша голова
    • Кожна головка отримує власний фіксований нахил, утворюючи геометричну послідовність
  5. Порівняно з традиційним позиційним вбудовуванням, ALiBi додає скільки вивчених параметрів?
    • Немає — нахили фіксовані, а не вивчені
    • Один на кожну позицію
    • Один на жетон
    • Два на голову уваги
  6. Яка відома велика модель використовувала ALiBi для отримання інформації про місцезнаходження?
    • ГПТ-2
    • ЦВІТ
    • БЕРТ
    • Word2Vec
  7. At what stage does ALiBi apply its distance-based bias?
    • To token IDs before they enter the embedding table
    • To the final vocabulary probabilities after decoding
    • To query-key attention scores before the softmax
    • To the training labels after loss calculation
  8. Why can ALiBi support inference on sequences longer than those used in training?
    • It removes the need for attention at longer lengths
    • It automatically retrains the model while generating
    • It stores a complete answer for every possible sequence length
    • Its distance-based bias does not require a separately learned embedding for every absolute position