What is RoPE (Rotary Positional Embeddings)? Definition | AI Understanding

Визначення

Метод позиційного кодування, який обертає вектори запиту та ключа для кодування відносних позицій маркерів.

Споріднені терміни

Позиційне кодування

Інформація, додана до вбудованих токенів, щоб трансформатори могли розрізняти порядок послідовності.

Метод позиційного упередження, який штрафує показники уваги на основі символічної відстані, допомагаючи моделям екстраполювати на довші контексти.

Метод пошуку, який генерує кілька варіантів запиту, отримує результати для кожного та об’єднує рейтинги.

ANN (приблизний найближчий сусід)

Алгоритми, які знаходять вектори, близькі до запиту, без повного порівняння, обмінюючи точність на швидкість.

RAG (генерація з доповненим пошуком)

Метод, який отримує зовнішні знання та передає їх у генерацію під час висновку.

Навчання з підкріпленням на основі зворотного зв’язку людини (RLHF)

Метод навчання, який використовує сигнали переваг людини для формування модельної поведінки.

Дізнайтеся більше в наших безкоштовних посібниках

Audio Embeddings and Representation Learning Sentence-BERT Embeddings X-Vector Speaker Embeddings HyDE Hypothetical Document Embeddings

See also

Multi-Head Attention Sliding Window Attention Flash Attention BPE (Byte Pair Encoding)QLoRA SentencePiece DPO (Direct Preference Optimization)Tree of Thoughts

Перегляньте повний Глосарій ШІ Перегляньте всі безкоштовні посібники зі штучного інтелекту