Что такое RoPE (вращательно-позиционные вложения)? Определение | AI Understanding

Определение

Метод позиционного кодирования, который меняет векторы запроса и ключа для кодирования относительных позиций токенов.

Связанные термины

Позиционное кодирование

Информация добавлена во встраивания токенов, чтобы преобразователи могли различать порядок последовательности.

Метод позиционной предвзятости, который штрафует оценки внимания на основе расстояния между маркерами, помогая моделям экстраполировать на более длинные контексты.

РЭГ-Фьюжн

Метод поиска, который генерирует несколько вариантов запроса, извлекает результаты для каждого и объединяет рейтинги.

ANN (приблизительный ближайший сосед)

Алгоритмы, которые находят векторы, близкие к запросу, без исчерпывающего сравнения, жертвуя точностью ради скорости.

RAG (генерация с расширенным поиском)

Метод, который извлекает внешние знания и вводит их в генерацию во время вывода.

Обучение с подкреплением на основе обратной связи с человеком (RLHF)

Метод обучения, который использует сигналы человеческих предпочтений для формирования поведения модели.

Узнайте больше в наших бесплатных руководствах.

Audio Embeddings and Representation Learning Sentence-BERT Embeddings X-Vector Speaker Embeddings HyDE Hypothetical Document Embeddings

См. также

Multi-Head Attention Sliding Window Attention Flash Attention BPE (Byte Pair Encoding)QLoRA SentencePiece DPO (Direct Preference Optimization)Tree of Thoughts

Просмотрите полный глоссарий AI Изучите все бесплатные руководства по искусственному интеллекту