What is RoPE (Rotary Positional Embeddings)? Definition | AI Understanding

Definition

Eine Positionskodierungsmethode, die Abfrage- und Schlüsselvektoren dreht, um relative Tokenpositionen zu kodieren.

Verwandte Begriffe

Positionskodierung

Zu Token-Einbettungen hinzugefügte Informationen, damit Transformatoren die Reihenfolge der Sequenzen unterscheiden können.

Eine Positionsbias-Methode, die Aufmerksamkeitswerte basierend auf der Token-Distanz bestraft und so Modellen hilft, auf längere Kontexte zu extrapolieren.

Eine Abrufmethode, die mehrere Abfragevarianten generiert, für jede die Ergebnisse abruft und die Rankings zusammenführt.

ANN (ungefährer nächster Nachbar)

Algorithmen, die Vektoren in der Nähe einer Abfrage ohne umfassenden Vergleich finden und dabei Genauigkeit gegen Geschwindigkeit eintauschen.

RAG (Retrieval-Augmented Generation)

Eine Methode, die externes Wissen abruft und es zum Zeitpunkt der Inferenz in die Generierung einspeist.

Verstärkungslernen aus menschlichem Feedback (RLHF)

Eine Trainingsmethode, die menschliche Präferenzsignale nutzt, um Modellverhalten zu formen.

Erfahren Sie mehr in unseren kostenlosen Ratgebern

Audio Embeddings and Representation Learning Sentence-BERT Embeddings X-Vector Speaker Embeddings HyDE Hypothetical Document Embeddings

See also

Multi-Head Attention Sliding Window Attention Flash Attention BPE (Byte Pair Encoding)QLoRA SentencePiece DPO (Direct Preference Optimization)Tree of Thoughts

Durchsuchen Sie das vollständige KI-Glossar Entdecken Sie alle kostenlosen KI-Anleitungen