Термін глосарію AI

Що таке АЛіБі?

Визначення

Метод позиційного упередження, який штрафує показники уваги на основі символічної відстані, допомагаючи моделям екстраполювати на довші контексти.

Перегляньте повний Глосарій ШІПерегляньте всі безкоштовні посібники зі штучного інтелекту

Споріднені терміни

RoPE (ротаційні позиційні вставки)Метод позиційного кодування, який обертає вектори запиту та ключа для кодування відносних позицій маркерів.Позиційне кодуванняІнформація, додана до вбудованих токенів, щоб трансформатори могли розрізняти порядок послідовності.Розсувне вікно УвагаШаблон уваги, де кожен маркер звертається лише до вікна фіксованого розміру сусідніх маркерів, щоб зменшити обчислення.Алгоритмічний зсувСистематична несправедливість у результатах моделі, спричинена спотвореними даними, припущеннями чи вибором моделювання.Механізм увагиКомпонент моделі, який динамічно фокусується на відповідних частинах вхідних даних під час створення виходу.УпередженістьПослідовна модель помилок або несправедливості в даних або поведінці моделі.

Дізнайтеся більше в наших безкоштовних посібниках

ALiBi Position Bias

Дивіться також

BPE (Byte Pair Encoding)Multi-Head AttentionSentencePieceFlash AttentionANN (Approximate Nearest Neighbor)QLoRAHNSWDPO (Direct Preference Optimization)