KI-Glossarbegriff

Was ist RoPE (Rotierende Positions‑Einbettungen)?

Definition

Eine Positionskodierungsmethode, die Abfrage- und Schlüsselvektoren dreht, um relative Tokenpositionen zu kodieren.

Durchsuchen Sie das vollständige KI-GlossarEntdecken Sie alle kostenlosen KI-Anleitungen

Verwandte Begriffe

PositionskodierungZu Token-Einbettungen hinzugefügte Informationen, damit Transformatoren die Reihenfolge der Sequenzen unterscheiden können.AlibiEine Positionsbias-Methode, die Aufmerksamkeitswerte basierend auf der Token-Distanz bestraft und so Modellen hilft, auf längere Kontexte zu extrapolieren.RAG-FusionEine Abrufmethode, die mehrere Abfragevarianten generiert, für jede die Ergebnisse abruft und die Rankings zusammenführt.ANN (ungefährer nächster Nachbar)Algorithmen, die Vektoren in der Nähe einer Abfrage ohne umfassenden Vergleich finden und dabei Genauigkeit gegen Geschwindigkeit eintauschen.RAG (Retrieval‑Augmented Generation)Eine Methode, die externes Wissen abruft und es zum Zeitpunkt der Inferenz in die Generierung einspeist.Verstärkungslernen aus menschlichem Feedback (RLHF)Eine Trainingsmethode, die menschliche Präferenzsignale nutzt, um Modellverhalten zu formen.

Erfahren Sie mehr in unseren kostenlosen Ratgebern

Audio Embeddings and Representation LearningSentence-BERT EmbeddingsX-Vector Speaker EmbeddingsHyDE Hypothetical Document Embeddings

Siehe auch

Multi-Head AttentionSliding Window AttentionFlash AttentionBPE (Byte Pair Encoding)QLoRASentencePieceDPO (Direct Preference Optimization)Tree of Thoughts