Einbettungen von Drehpositionen
Rotary Position Embeddings (RoPE) kodieren, wo sich jedes Token in einer Sequenz befindet, indem seine Abfrage- und Schlüsselvektoren um einen Winkel proportional zur Position gedreht werden.
Übersicht
This elegant trick lets transformers understand relative distances and extend gracefully to longer contexts.
Tiefer Einblick
Transformatoren haben keinen eingebauten Ordnungssinn, daher müssen ihnen irgendwie Positionsinformationen hinzugefügt werden. Frühe Modelle fügten den Eingaben feste Sinusvektoren oder erlernte Positionseinbettungen hinzu. RoPE, das 2021 von Su und Kollegen vorgeschlagen wurde, verfolgt einen anderen Ansatz: Anstatt einen Positionsvektor hinzuzufügen, dreht es Dimensionspaare in den Abfrage- und Schlüsselvektoren um einen Winkel, der mit der Position des Tokens wächst. Wenn das Modell das Skalarprodukt zwischen einer Abfrage an Position m und einem Schlüssel an Position n berechnet, funktioniert die Mathematik so, dass das Ergebnis nur von ihrem relativen Abstand m minus n abhängt. Dies sorgt für ein echtes Bewusstsein für die relative Position, harmoniert gut mit effizienten Aufmerksamkeitskernen und nimmt mit zunehmender Entfernung sanft ab. RoPE wird jetzt in Llama, Mistral, Qwen und den meisten modernen offenen Modellen verwendet.
Technischer Einblick
RoPE behandelt Einbettungsdimensionen paarweise und wendet auf jedes Paar eine 2D-Rotation an, wobei sich verschiedene Paare mit unterschiedlichen Frequenzen drehen, ähnlich wie die Zeiger vieler Uhren mit unterschiedlichen Geschwindigkeiten ticken. Da durch Drehen um die Position m und anschließendes Berechnen eines Skalarprodukts mit etwas, das um die Position n gedreht wurde, nur die Winkeldifferenz verbleibt, werden Aufmerksamkeitswerte zu Funktionen der relativen Position. Hochfrequenzpaare erfassen feine lokale Ordnung; Niederfrequenzpaare erfassen Positionen über große Entfernungen. Entscheidend ist, dass Abfragen und Schlüssel geändert werden, nicht Werte.
Strategische Auswirkungen
Geschwindigkeit und Umfang
Sprachworkflows können schneller ablaufen, ohne dass die Konsistenz darunter leidet.
Zugang und Erreichbarkeit
Es erweitert den Zugang über Sprachen und Kommunikationsstile hinweg.
Klarere Entscheidungen
Teams können mehr Zeit für die Beurteilung aufwenden, während die Automatisierung die Wiederholungen bewältigt.
Die Zukunft der Einbettung von Rotationspositionen
Viele neuere Arbeiten konzentrieren sich auf die Ausweitung von RoPE auf Kontexte, die weitaus länger sind, als ein Modell trainiert wurde. Techniken wie Positionsinterpolation, NTK-fähige Skalierung und YaRN passen die Rotationsfrequenzen an, sodass ein Modell, das beispielsweise auf 4K-Tokens trainiert wurde, mit leichter Feinabstimmung 32K oder mehr verarbeiten kann. Erwarten Sie, dass RoPE das dominierende Positionsschema bleibt, mit fortlaufenden Verbesserungen seiner Grundfrequenz und Skalierung für Millionen-Token-Kontexte und kontinuierlicher Untersuchung seiner Interaktion mit dem Aufmerksamkeitsverhalten.
Reale Umsetzung
Den Llama-, Mistral- und Qwen-Modellen ihren Sinn für die Token-Reihenfolge ohne separate Positionseinbettungen geben
Erweitern des nutzbaren Kontexts eines Modells von einigen Tausend auf Zehntausende Token durch Interpolation oder YaRN
Unterstützung von Codemodellen bei der Verfolgung relativer Abstände zwischen Klammern, Funktionen und Referenzen über lange Dateien hinweg
Unterstützung bei der Beantwortung von Fragen in langen Dokumenten, bei denen es auf die relative Position zwischen Frage und Beweismaterial ankommt
Risiken und Leitplanken
Halluzinierte Fakten können still und leise in Berichte, Support-Flows oder Forschungsergebnisse einfließen.
Eine schnelle Sensibilität kann bei ähnlichen Anfragen zu inkonsistenten Ergebnissen führen.
Sensible Textdaten können offengelegt werden, wenn die Zugriffskontrollen schwach sind.
Implementierungs-Roadmap
Definieren Sie vor dem Rollout Ausgabeformat, Ton und Qualitätsstandards.
Bodenantworten mit vertrauenswürdigen Quellen, wann immer es auf Genauigkeit ankommt.
Halten Sie einen Kontrollpunkt für die menschliche Überprüfung für Ergebnisse mit hohem Risiko ein.
Verfolgen Sie Fehlermuster und trainieren Sie Eingabeaufforderungen oder Arbeitsabläufe regelmäßig neu.
Entdecken Sie weiter
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Rotary Position Embeddings quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Nächster Leitfaden
ALiBi-Positionsbias
Häufig gestellte Fragen
What is Rotary Position Embeddings?
Rotary Position Embeddings (RoPE) kodieren, wo sich jedes Token in einer Sequenz befindet, indem seine Abfrage- und Schlüsselvektoren um einen Winkel proportional zur Position gedreht werden. Mit diesem eleganten Trick können Transformatoren relative Abstände verstehen und elegant auf längere Kontexte erweitern.
Wie fügt RoPE Positionsinformationen in einen Transformator ein?
RoPE dreht Abfrage- und Schlüsselvektoren um einen Winkel proportional zur Position, anstatt einen separaten Positionsvektor hinzuzufügen.
Welche Teile der Aufmerksamkeitsberechnung verändert RoPE?
RoPE wendet seine Rotationen auf die Abfrage- und Schlüsselvektoren an und lässt die Wertvektoren unberührt.
Warum rotieren verschiedene Dimensionspaare in RoPE mit unterschiedlichen Frequenzen?
Wie Uhrzeiger, die mit unterschiedlichen Geschwindigkeiten ticken, ermöglichen unterschiedliche Frequenzen einigen Paaren die Kodierung der Nahordnung und anderen die Langstreckenposition.
Was ist das Ziel von Techniken wie Positionsinterpolation, NTK-fähiger Skalierung und YaRN?
Diese Methoden skalieren die Rotationsfrequenzen von RoPE neu, sodass ein Modell viel längere Kontexte als seine ursprüngliche Trainingslänge verarbeiten kann.