What is RoPE (Rotary Positional Embeddings)? Definition | AI Understanding

Определение

Метод на позиционно кодиране, който завърта заявка и ключови вектори, за да кодира относителни позиции на токени.

Свързани термини

Позиционно кодиране

Информация, добавена към вграждането на токени, така че трансформаторите да могат да разграничат реда на последователността.

Метод на позиционно отклонение, който наказва оценките за внимание въз основа на символично разстояние, като помага на моделите да екстраполират към по-дълги контексти.

Метод за извличане, който генерира множество варианти на заявка, извлича резултати за всяка и обединява класирането.

ANN (приблизително най-близък съсед)

Алгоритми, които намират вектори, близки до заявка, без изчерпателно сравнение, разменяйки точност за скорост.

RAG (генериране с допълнено извличане)

Метод, който извлича външно знание и го захранва за генериране по време на извод.

Обучение за подсилване от човешка обратна връзка (RLHF)

Метод на обучение, който използва сигнали за човешки предпочитания, за да оформи поведението на модела.

Научете повече в нашите безплатни ръководства

Audio Embeddings and Representation Learning Sentence-BERT Embeddings X-Vector Speaker Embeddings HyDE Hypothetical Document Embeddings

See also

Multi-Head Attention Sliding Window Attention Flash Attention BPE (Byte Pair Encoding)QLoRA SentencePiece DPO (Direct Preference Optimization)Tree of Thoughts

Разгледайте пълния AI речник Разгледайте всички безплатни ръководства за AI