AI Ordlista Term

Vad är RoPE (Rotary Positional Embeddings)?

Definition

En positionskodningsmetod som roterar fråge- och nyckelvektorer för att koda relativa tokenpositioner.

Relaterade termer

Positionell kodning
Information läggs till tokeninbäddningar så att transformatorer kan urskilja sekvensordning.
ALiBi
En positionell bias-metod som straffar uppmärksamhetspoäng baserat på symboliskt avstånd, vilket hjälper modeller att extrapolera till längre sammanhang.
RAG-Fusion
En hämtningsmetod som genererar flera frågevarianter, hämtar resultat för var och en och slår samman rankningarna.
ANN (Ungefärlig närmaste granne)
Algoritmer som hittar vektorer nära en fråga utan uttömmande jämförelse, byter exakthet mot hastighet.
RAG (Retrieval-Augmented Generation)
En metod som hämtar extern kunskap och matar in den i generering vid slutledningstidpunkten.
Reinforcement Learning from Human Feedback (RLHF)
En träningsmetod som använder signaler om mänskliga preferenser för att forma modellbeteende.

Läs mer i våra kostnadsfria guider

Audio Embeddings and Representation LearningSentence-BERT EmbeddingsX-Vector Speaker EmbeddingsHyDE Hypothetical Document Embeddings

See also

Multi-Head AttentionSliding Window AttentionFlash AttentionBPE (Byte Pair Encoding)QLoRASentencePieceDPO (Direct Preference Optimization)Tree of Thoughts
Bläddra i hela AI-ordlistanUtforska alla gratis AI-guider