Термин от речника на AI

Какво е ALiBi?

Определение

Метод на позиционно отклонение, който наказва оценките за внимание въз основа на символично разстояние, като помага на моделите да екстраполират към по-дълги контексти.

Разгледайте пълния AI речникРазгледайте всички безплатни ръководства за AI

Свързани термини

RoPE (ротационни позиционни вграждания)Метод на позиционно кодиране, който завърта заявка и ключови вектори, за да кодира относителни позиции на токени.Позиционно кодиранеИнформация, добавена към вграждането на токени, така че трансформаторите да могат да разграничат реда на последователността.Плъзгащ се прозорец ВниманиеМодел на внимание, при който всеки токен обръща внимание само на прозорец с фиксиран размер от близки токени, за да намали изчисленията.Алгоритмично отклонениеСистематична несправедливост в резултатите от модела, причинена от изкривени данни, предположения или избор на моделиране.Механизъм на вниманиетоКомпонент на модел, който динамично се фокусира върху съответните части на вход, когато създава изход.ПристрастиеПоследователен модел на грешка или несправедливост в данните или поведението на модела.

Научете повече в нашите безплатни ръководства

ALiBi Position Bias

Вижте също

BPE (Byte Pair Encoding)Multi-Head AttentionSentencePieceFlash AttentionANN (Approximate Nearest Neighbor)QLoRAHNSWDPO (Direct Preference Optimization)