Термін глосарію AI

Що є АЛіБі?

Визначення

Метод позиційного упередження, який штрафує показники уваги на основі символічної відстані, допомагаючи моделям екстраполювати на довші контексти.

Споріднені терміни

RoPE (ротаційні позиційні вставки)
Метод позиційного кодування, який обертає вектори запиту та ключа для кодування відносних позицій маркерів.
Позиційне кодування
Інформація, додана до вбудованих токенів, щоб трансформатори могли розрізняти порядок послідовності.
Розсувне вікно Увага
Шаблон уваги, де кожен маркер звертається лише до вікна фіксованого розміру сусідніх маркерів, щоб зменшити обчислення.
Алгоритмічний зсув
Систематична несправедливість у результатах моделі, спричинена спотвореними даними, припущеннями чи вибором моделювання.
Механізм уваги
Компонент моделі, який динамічно фокусується на відповідних частинах вхідних даних під час створення виходу.
Упередженість
Послідовна модель помилок або несправедливості в даних або поведінці моделі.

Дізнайтеся більше в наших безкоштовних посібниках

ALiBi Position Bias

See also

BPE (Byte Pair Encoding)Multi-Head AttentionSentencePieceFlash AttentionANN (Approximate Nearest Neighbor)QLoRAHNSWDPO (Direct Preference Optimization)
Перегляньте повний Глосарій ШІПерегляньте всі безкоштовні посібники зі штучного інтелекту