Глоссарий терминов искусственного интеллекта

Что такое RoPE (вращательно-позиционные вложения)?

Определение

Метод позиционного кодирования, который меняет векторы запроса и ключа для кодирования относительных позиций токенов.

Просмотрите полный глоссарий AIИзучите все бесплатные руководства по искусственному интеллекту

Связанные термины

Позиционное кодированиеИнформация добавлена во встраивания токенов, чтобы преобразователи могли различать порядок последовательности.АлиБиМетод позиционной предвзятости, который штрафует оценки внимания на основе расстояния между маркерами, помогая моделям экстраполировать на более длинные контексты.РЭГ-ФьюжнМетод поиска, который генерирует несколько вариантов запроса, извлекает результаты для каждого и объединяет рейтинги.ANN (приблизительный ближайший сосед)Алгоритмы, которые находят векторы, близкие к запросу, без исчерпывающего сравнения, жертвуя точностью ради скорости.RAG (генерация с расширенным поиском)Метод, который извлекает внешние знания и вводит их в генерацию во время вывода.Обучение с подкреплением на основе обратной связи с человеком (RLHF)Метод обучения, который использует сигналы человеческих предпочтений для формирования поведения модели.

Узнайте больше в наших бесплатных руководствах.

Audio Embeddings and Representation LearningSentence-BERT EmbeddingsX-Vector Speaker EmbeddingsHyDE Hypothetical Document Embeddings

См. также

Multi-Head AttentionSliding Window AttentionFlash AttentionBPE (Byte Pair Encoding)QLoRASentencePieceDPO (Direct Preference Optimization)Tree of Thoughts