Термин от речника на AI

Какво е RoPE (ротационни позиционни вграждания)?

Определение

Метод на позиционно кодиране, който завърта заявка и ключови вектори, за да кодира относителни позиции на токени.

Разгледайте пълния AI речникРазгледайте всички безплатни ръководства за AI

Свързани термини

Позиционно кодиранеИнформация, добавена към вграждането на токени, така че трансформаторите да могат да разграничат реда на последователността.ALiBiМетод на позиционно отклонение, който наказва оценките за внимание въз основа на символично разстояние, като помага на моделите да екстраполират към по-дълги контексти.RAG-FusionМетод за извличане, който генерира множество варианти на заявка, извлича резултати за всяка и обединява класирането.ANN (приблизително най-близък съсед)Алгоритми, които намират вектори, близки до заявка, без изчерпателно сравнение, разменяйки точност за скорост.RAG (генериране с допълнено извличане)Метод, който извлича външно знание и го захранва за генериране по време на извод.Обучение за подсилване от човешка обратна връзка (RLHF)Метод на обучение, който използва сигнали за човешки предпочитания, за да оформи поведението на модела.

Научете повече в нашите безплатни ръководства

Audio Embeddings and Representation LearningSentence-BERT EmbeddingsX-Vector Speaker EmbeddingsHyDE Hypothetical Document Embeddings

Вижте също

Multi-Head AttentionSliding Window AttentionFlash AttentionBPE (Byte Pair Encoding)QLoRASentencePieceDPO (Direct Preference Optimization)Tree of Thoughts