What is RoPE (Rotary Positional Embeddings)? Definition | AI Understanding

Definicja

Metoda kodowania pozycyjnego, która obraca wektory zapytań i kluczy w celu zakodowania względnych pozycji tokenów.

Powiązane terminy

Kodowanie pozycyjne

Informacje dodane do osadzania tokenów, aby transformatory mogły rozróżnić kolejność sekwencji.

Metoda błędu pozycyjnego, która penalizuje wyniki uwagi na podstawie odległości symbolicznej, pomagając modelom ekstrapolować na dłuższe konteksty.

Metoda wyszukiwania, która generuje wiele wariantów zapytań, pobiera wyniki dla każdego z nich i łączy rankingi.

ANN (przybliżony najbliższy sąsiad)

Algorytmy, które znajdują wektory blisko zapytania bez wyczerpującego porównania, zamieniając dokładność na szybkość.

RAG (generacja wspomagana odzyskiwaniem)

Metoda, która pobiera wiedzę zewnętrzną i przekazuje ją do generowania w momencie wnioskowania.

Uczenie się przez wzmocnienie na podstawie informacji zwrotnej od ludzi (RLHF)

Metoda szkoleniowa wykorzystująca sygnały preferencji ludzkich do kształtowania zachowań modelu.

Dowiedz się więcej z naszych bezpłatnych przewodników

Audio Embeddings and Representation Learning Sentence-BERT Embeddings X-Vector Speaker Embeddings HyDE Hypothetical Document Embeddings

Zobacz także

Multi-Head Attention Sliding Window Attention Flash Attention BPE (Byte Pair Encoding)QLoRA SentencePiece DPO (Direct Preference Optimization)Tree of Thoughts

Przejrzyj pełny słownik AI Przeglądaj wszystkie bezpłatne przewodniki AI