Термин от речника на AI

Какво е ALiBi?

Определение

Метод на позиционно отклонение, който наказва оценките за внимание въз основа на символично разстояние, като помага на моделите да екстраполират към по-дълги контексти.

Свързани термини

RoPE (ротационни позиционни вграждания)
Метод на позиционно кодиране, който завърта заявка и ключови вектори, за да кодира относителни позиции на токени.
Позиционно кодиране
Информация, добавена към вграждането на токени, така че трансформаторите да могат да разграничат реда на последователността.
Плъзгащ се прозорец Внимание
Модел на внимание, при който всеки токен обръща внимание само на прозорец с фиксиран размер от близки токени, за да намали изчисленията.
Алгоритмично отклонение
Систематична несправедливост в резултатите от модела, причинена от изкривени данни, предположения или избор на моделиране.
Механизъм на вниманието
Компонент на модел, който динамично се фокусира върху съответните части на вход, когато създава изход.
Пристрастие
Последователен модел на грешка или несправедливост в данните или поведението на модела.

Научете повече в нашите безплатни ръководства

ALiBi Position Bias

See also

BPE (Byte Pair Encoding)Multi-Head AttentionSentencePieceFlash AttentionANN (Approximate Nearest Neighbor)QLoRAHNSWDPO (Direct Preference Optimization)
Разгледайте пълния AI речникРазгледайте всички безплатни ръководства за AI