Тест, свързан с ръководство · Среден Ниво

ALiBi Тест за пристрастност към позицията

Проверете как ALiBi добавя отклонения на вниманието, базирани на разстоянието, и поддържа по-дълги поредици от изводи без научени таблици с абсолютна позиция.

Свързани ръководни пътекиОтклонение на позицията на алиби
Въпрос 1 на 8

Какво означава ALiBi?

Визуализирайте всеки въпрос8 въпроси

Отговорите и обясненията се появяват, докато отговаряте на теста.

  1. Какво означава ALiBi?
    • Внимание с линейни отклонения
    • Адаптивно линейно отклонение
    • Подравнено двупосочно кодиране
    • Абсолютно линейно индексиране
  2. Как ALiBi наказва отдалечените токени?
    • Чрез нулиране на вграждания отвъд фиксиран прозорец
    • Чрез добавяне на наказание, пропорционално на разстоянието между заявката и ключовите позиции
    • Като научите отделно вграждане за всяка позиция
    • Чрез завъртане на заявката и ключовите вектори
  3. Кое е най-известното практическо предимство на ALiBi?
    • Той елиминира необходимостта от softmax
    • Кара вниманието да тече в постоянна памет
    • Той се екстраполира добре към последователности, по-дълги от тези, наблюдавани при обучение
    • Премахва необходимостта от множество глави за внимание
  4. Какво е различното при линейното отклонение в главите на вниманието?
    • Всяка глава споделя абсолютно същия наклон
    • Наклоните се учат по време на тренировка
    • Само първата глава получава отклонение
    • Всяка глава получава свой собствен фиксиран наклон, образувайки геометрична последователност
  5. В сравнение с традиционните позиционни вграждания, ALiBi добавя колко научени параметри?
    • Няма — наклоните на отклонение са фиксирани, не са научени
    • По един на позиция
    • По един на жетон
    • Двама на внимание
  6. Кой известен голям модел използва ALiBi за информация за позиция?
    • GPT-2
    • ЦЪФТЕ
    • БЕРТ
    • Word2Vec
  7. At what stage does ALiBi apply its distance-based bias?
    • To token IDs before they enter the embedding table
    • To the final vocabulary probabilities after decoding
    • To query-key attention scores before the softmax
    • To the training labels after loss calculation
  8. Why can ALiBi support inference on sequences longer than those used in training?
    • It removes the need for attention at longer lengths
    • It automatically retrains the model while generating
    • It stores a complete answer for every possible sequence length
    • Its distance-based bias does not require a separately learned embedding for every absolute position