Термін глосарію AI

Що таке Позиційне кодування?

Визначення

Інформація, додана до вбудованих токенів, щоб трансформатори могли розрізняти порядок послідовності.

Перегляньте повний Глосарій ШІПерегляньте всі безкоштовні посібники зі штучного інтелекту

Споріднені терміни

RoPE (ротаційні позиційні вставки)Метод позиційного кодування, який обертає вектори запиту та ключа для кодування відносних позицій маркерів.АЛіБіМетод позиційного упередження, який штрафує показники уваги на основі символічної відстані, допомагаючи моделям екстраполювати на довші контексти.Параметричне точне налаштування (PEFT)Методи, які адаптують моделі шляхом навчання невеликої підмножини доданих параметрів.AGI (загальний штучний інтелект)Гіпотетична система ШІ, яка може виконувати більшість інтелектуальних завдань на рівні людини в багатьох сферах.ШІ агентПрограмна система, яка може спостерігати, міркувати та виконувати дії для досягнення мети, часто використовуючи інструменти та пам’ять.АнотаціяМітки або метадані, додані людиною, використовуються для навчання або оцінки моделей машинного навчання.

Дізнайтеся більше в наших безкоштовних посібниках

Positional Interpolation for Long ContextInstant-NGP Hash EncodingByte-Pair EncodingTokenization and Byte Pair Encoding

Дивіться також

Multi-Head AttentionFlash AttentionQLoRASliding Window AttentionDPO (Direct Preference Optimization)BPE (Byte Pair Encoding)Tree of ThoughtsSentencePiece