Глоссарий терминов искусственного интеллекта

Что такое Позиционное кодирование?

Определение

Информация добавлена во встраивания токенов, чтобы преобразователи могли различать порядок последовательности.

Просмотрите полный глоссарий AIИзучите все бесплатные руководства по искусственному интеллекту

Связанные термины

RoPE (вращательно-позиционные вложения)Метод позиционного кодирования, который меняет векторы запроса и ключа для кодирования относительных позиций токенов.АлиБиМетод позиционной предвзятости, который штрафует оценки внимания на основе расстояния между маркерами, помогая моделям экстраполировать на более длинные контексты.Точная настройка с эффективным использованием параметров (PEFT)Методы, которые адаптируют модели путем обучения небольшого подмножества добавленных параметров.AGI (Общий искусственный интеллект)Гипотетическая система искусственного интеллекта, способная выполнять большинство интеллектуальных задач на человеческом уровне во многих областях.ИИ-агентПрограммная система, которая может наблюдать, рассуждать и предпринимать действия для достижения цели, часто используя инструменты и память.АннотацияДобавленные человеком метки или метаданные, используемые для обучения или оценки моделей машинного обучения.

Узнайте больше в наших бесплатных руководствах.

Positional Interpolation for Long ContextInstant-NGP Hash EncodingByte-Pair EncodingTokenization and Byte Pair Encoding

См. также

Multi-Head AttentionFlash AttentionQLoRASliding Window AttentionDPO (Direct Preference Optimization)BPE (Byte Pair Encoding)Tree of ThoughtsSentencePiece