KI-Glossarbegriff

Was ist Positionskodierung?

Definition

Zu Token-Einbettungen hinzugefügte Informationen, damit Transformatoren die Reihenfolge der Sequenzen unterscheiden können.

Verwandte Begriffe

RoPE (Rotary Positional Embeddings)
Eine Positionskodierungsmethode, die Abfrage- und Schlüsselvektoren dreht, um relative Tokenpositionen zu kodieren.
ALiBi
Eine Positionsbias-Methode, die Aufmerksamkeitswerte basierend auf der Token-Distanz bestraft und so Modellen hilft, auf längere Kontexte zu extrapolieren.
Parametereffiziente Feinabstimmung (PEFT)
Methoden, die Modelle anpassen, indem sie eine kleine Teilmenge hinzugefügter Parameter trainieren.
AGI (Künstliche Allgemeine Intelligenz)
Ein hypothetisches KI-System, das die meisten intellektuellen Aufgaben in vielen Bereichen auf menschlicher Ebene ausführen kann.
KI-Agent
Ein Softwaresystem, das beobachten, schlussfolgern und Maßnahmen ergreifen kann, um ein Ziel zu erreichen, häufig unter Einsatz von Werkzeugen und Gedächtnis.
Anmerkung
Vom Menschen hinzugefügte Bezeichnungen oder Metadaten, die zum Trainieren oder Bewerten von Modellen für maschinelles Lernen verwendet werden.

Erfahren Sie mehr in unseren kostenlosen Ratgebern

Positional Interpolation for Long ContextInstant-NGP Hash EncodingByte-Pair EncodingTokenization and Byte Pair Encoding

See also

Multi-Head AttentionFlash AttentionQLoRASliding Window AttentionDPO (Direct Preference Optimization)BPE (Byte Pair Encoding)Tree of ThoughtsSentencePiece
Durchsuchen Sie das vollständige KI-GlossarEntdecken Sie alle kostenlosen KI-Anleitungen