Глоссарий терминов искусственного интеллекта

Что такое АлиБи?

Определение

Метод позиционной предвзятости, который штрафует оценки внимания на основе расстояния между маркерами, помогая моделям экстраполировать на более длинные контексты.

Просмотрите полный глоссарий AIИзучите все бесплатные руководства по искусственному интеллекту

Связанные термины

RoPE (вращательно-позиционные вложения)Метод позиционного кодирования, который меняет векторы запроса и ключа для кодирования относительных позиций токенов.Позиционное кодированиеИнформация добавлена во встраивания токенов, чтобы преобразователи могли различать порядок последовательности.Раздвижное окно ВниманиеСхема внимания, при которой каждый токен обращается только к окну соседних токенов фиксированного размера для сокращения вычислительных ресурсов.Алгоритмическое смещениеСистематическая несправедливость в результатах модели, вызванная искажением данных, предположениями или выбором моделирования.Механизм вниманияКомпонент модели, который динамически фокусируется на соответствующих частях входных данных при создании выходных данных.ПредвзятостьПостоянная модель ошибок или несправедливости в данных или поведении модели.

Узнайте больше в наших бесплатных руководствах.

ALiBi Position Bias

См. также

BPE (Byte Pair Encoding)Multi-Head AttentionSentencePieceFlash AttentionANN (Approximate Nearest Neighbor)QLoRAHNSWDPO (Direct Preference Optimization)