Термін глосарію AI

Що таке RoPE (ротаційні позиційні вставки)?

Визначення

Метод позиційного кодування, який обертає вектори запиту та ключа для кодування відносних позицій маркерів.

Перегляньте повний Глосарій ШІПерегляньте всі безкоштовні посібники зі штучного інтелекту

Споріднені терміни

Позиційне кодуванняІнформація, додана до вбудованих токенів, щоб трансформатори могли розрізняти порядок послідовності.АЛіБіМетод позиційного упередження, який штрафує показники уваги на основі символічної відстані, допомагаючи моделям екстраполювати на довші контексти.RAG-FusionМетод пошуку, який генерує кілька варіантів запиту, отримує результати для кожного та об’єднує рейтинги.ANN (приблизний найближчий сусід)Алгоритми, які знаходять вектори, близькі до запиту, без повного порівняння, обмінюючи точність на швидкість.RAG (генерація з доповненим пошуком)Метод, який отримує зовнішні знання та передає їх у генерацію під час висновку.Навчання з підкріпленням на основі зворотного зв’язку людини (RLHF)Метод навчання, який використовує сигнали переваг людини для формування модельної поведінки.

Дізнайтеся більше в наших безкоштовних посібниках

Audio Embeddings and Representation LearningSentence-BERT EmbeddingsX-Vector Speaker EmbeddingsHyDE Hypothetical Document Embeddings

Дивіться також

Multi-Head AttentionSliding Window AttentionFlash AttentionBPE (Byte Pair Encoding)QLoRASentencePieceDPO (Direct Preference Optimization)Tree of Thoughts