Викторина, связанная с руководством · Средний Уровень

Тест на предвзятость позиции ALiBi

Посмотрите, как ALiBi добавляет смещение внимания на основе расстояния и поддерживает более длинные последовательности вывода без изученных таблиц абсолютных положений.

Связанные направляющие путиПредвзятость позиции Алиби
Вопрос 1 из 8

Что означает АЛиБи?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. Что означает АЛиБи?
    • Внимание с линейными смещениями
    • Адаптивное линейное смещение
    • Выровненное двунаправленное кодирование
    • Абсолютная линейная индексация
  2. Как ALiBi наказывает удаленные токены?
    • Путем обнуления вложений за пределами фиксированного окна
    • Добавляя штраф, пропорциональный расстоянию между запросом и ключевыми позициями.
    • Изучая отдельное вложение для каждой позиции
    • Путем вращения запроса и ключевых векторов
  3. Каково самое знаменитое практическое преимущество ALiBi?
    • Это устраняет необходимость в softmax
    • Это заставляет внимание работать в постоянной памяти
    • Он хорошо экстраполируется на последовательности, более длинные, чем те, которые наблюдаются при обучении.
    • Это устраняет необходимость в нескольких головах внимания.
  4. Чем отличается линейное смещение внимания?
    • Каждая головка имеет одинаковый наклон
    • Склоны изучаются во время тренировки.
    • Только первая голова получает уклон
    • Каждая головка имеет свой фиксированный наклон, образующий геометрическую последовательность.
  5. Сколько изученных параметров добавляет ALiBi по сравнению с традиционными позиционными вложениями?
    • Нет — наклоны смещения фиксированы, а не изучены.
    • Один на позицию
    • Один на токен
    • Два на каждую голову внимания
  6. Какая известная большая модель использовала ALiBi для получения информации о местоположении?
    • ГПТ-2
    • БЛУМ
    • БЕРТ
    • Word2Vec
  7. At what stage does ALiBi apply its distance-based bias?
    • To token IDs before they enter the embedding table
    • To the final vocabulary probabilities after decoding
    • To query-key attention scores before the softmax
    • To the training labels after loss calculation
  8. Why can ALiBi support inference on sequences longer than those used in training?
    • It removes the need for attention at longer lengths
    • It automatically retrains the model while generating
    • It stores a complete answer for every possible sequence length
    • Its distance-based bias does not require a separately learned embedding for every absolute position