KI-Glossarbegriff

Was ist Alibi?

Definition

Eine Positionsbias-Methode, die Aufmerksamkeitswerte basierend auf der Token-Distanz bestraft und so Modellen hilft, auf längere Kontexte zu extrapolieren.

Durchsuchen Sie das vollständige KI-GlossarEntdecken Sie alle kostenlosen KI-Anleitungen

Verwandte Begriffe

RoPE (Rotierende Positions‑Einbettungen)Eine Positionskodierungsmethode, die Abfrage- und Schlüsselvektoren dreht, um relative Tokenpositionen zu kodieren.PositionskodierungZu Token-Einbettungen hinzugefügte Informationen, damit Transformatoren die Reihenfolge der Sequenzen unterscheiden können.Schiebefenster AchtungEin Aufmerksamkeitsmuster, bei dem sich jedes Token nur um ein Fenster mit fester Größe benachbarter Token kümmert, um den Rechenaufwand zu reduzieren.Algorithmischer BiasSystematische Ungerechtigkeit bei Modellergebnissen, die durch verzerrte Daten, Annahmen oder Modellierungsentscheidungen verursacht wird.AufmerksamkeitsmechanismusEine Modellkomponente, die sich beim Erzeugen einer Ausgabe dynamisch auf relevante Teile einer Eingabe konzentriert.VoreingenommenheitEin konsistentes Muster von Fehlern oder Ungerechtigkeiten im Daten- oder Modellverhalten.

Erfahren Sie mehr in unseren kostenlosen Ratgebern

ALiBi Position Bias

Siehe auch

BPE (Byte Pair Encoding)Multi-Head AttentionSentencePieceFlash AttentionANN (Approximate Nearest Neighbor)QLoRAHNSWDPO (Direct Preference Optimization)