KI-Glossarbegriff

Was ist Positionskodierung?

Definition

Zu Token-Einbettungen hinzugefügte Informationen, damit Transformatoren die Reihenfolge der Sequenzen unterscheiden können.

Durchsuchen Sie das vollständige KI-GlossarEntdecken Sie alle kostenlosen KI-Anleitungen

Verwandte Begriffe

RoPE (Rotierende Positions‑Einbettungen)Eine Positionskodierungsmethode, die Abfrage- und Schlüsselvektoren dreht, um relative Tokenpositionen zu kodieren.AlibiEine Positionsbias-Methode, die Aufmerksamkeitswerte basierend auf der Token-Distanz bestraft und so Modellen hilft, auf längere Kontexte zu extrapolieren.Parametereffiziente Feinabstimmung (PEFT)Methoden, die Modelle anpassen, indem sie eine kleine Teilmenge hinzugefügter Parameter trainieren.AGI (Künstliche Allgemeine Intelligenz)Ein hypothetisches KI-System, das die meisten intellektuellen Aufgaben in vielen Bereichen auf menschlicher Ebene ausführen kann.KI-AgentEin Softwaresystem, das beobachten, schlussfolgern und Maßnahmen ergreifen kann, um ein Ziel zu erreichen, häufig unter Einsatz von Werkzeugen und Gedächtnis.AnmerkungVom Menschen hinzugefügte Bezeichnungen oder Metadaten, die zum Trainieren oder Bewerten von Modellen für maschinelles Lernen verwendet werden.

Erfahren Sie mehr in unseren kostenlosen Ratgebern

Positional Interpolation for Long ContextInstant-NGP Hash EncodingByte-Pair EncodingTokenization and Byte Pair Encoding

Siehe auch

Multi-Head AttentionFlash AttentionQLoRASliding Window AttentionDPO (Direct Preference Optimization)BPE (Byte Pair Encoding)Tree of ThoughtsSentencePiece