Глоссарий терминов искусственного интеллекта

Что такое АлиБи?

Определение

Метод позиционной предвзятости, который штрафует оценки внимания на основе расстояния между маркерами, помогая моделям экстраполировать на более длинные контексты.

Связанные термины

RoPE (вращательно-позиционные вложения)
Метод позиционного кодирования, который меняет векторы запроса и ключа для кодирования относительных позиций токенов.
Позиционное кодирование
Информация добавлена во встраивания токенов, чтобы преобразователи могли различать порядок последовательности.
Раздвижное окно Внимание
Схема внимания, при которой каждый токен обращается только к окну соседних токенов фиксированного размера для сокращения вычислительных ресурсов.
Алгоритмическое смещение
Систематическая несправедливость в результатах модели, вызванная искажением данных, предположениями или выбором моделирования.
Механизм внимания
Компонент модели, который динамически фокусируется на соответствующих частях входных данных при создании выходных данных.
Предвзятость
Постоянная модель ошибок или несправедливости в данных или поведении модели.

Узнайте больше в наших бесплатных руководствах.

ALiBi Position Bias

См. также

BPE (Byte Pair Encoding)Multi-Head AttentionSentencePieceFlash AttentionANN (Approximate Nearest Neighbor)QLoRAHNSWDPO (Direct Preference Optimization)
Просмотрите полный глоссарий AIИзучите все бесплатные руководства по искусственному интеллекту