Термин от речника на AI

Какво е Позиционно кодиране?

Определение

Информация, добавена към вграждането на токени, така че трансформаторите да могат да разграничат реда на последователността.

Разгледайте пълния AI речникРазгледайте всички безплатни ръководства за AI

Свързани термини

RoPE (ротационни позиционни вграждания)Метод на позиционно кодиране, който завърта заявка и ключови вектори, за да кодира относителни позиции на токени.ALiBiМетод на позиционно отклонение, който наказва оценките за внимание въз основа на символично разстояние, като помага на моделите да екстраполират към по-дълги контексти.Параметрно ефективна фина настройка (PEFT)Методи, които адаптират модели чрез обучение на малък поднабор от добавени параметри.AGI (общ изкуствен интелект)Хипотетична AI система, която може да изпълнява повечето интелектуални задачи на човешко ниво в много области.AI агентСофтуерна система, която може да наблюдава, разсъждава и предприема действия за постигане на цел, често използвайки инструменти и памет.АнотацияДобавени от човека етикети или метаданни, използвани за обучение или оценка на модели за машинно обучение.

Научете повече в нашите безплатни ръководства

Positional Interpolation for Long ContextInstant-NGP Hash EncodingByte-Pair EncodingTokenization and Byte Pair Encoding

Вижте също

Multi-Head AttentionFlash AttentionQLoRASliding Window AttentionDPO (Direct Preference Optimization)BPE (Byte Pair Encoding)Tree of ThoughtsSentencePiece