KI-Glossarbegriff

Was ist ALiBi?

Definition

Eine Positionsbias-Methode, die Aufmerksamkeitswerte basierend auf der Token-Distanz bestraft und so Modellen hilft, auf längere Kontexte zu extrapolieren.

Verwandte Begriffe

RoPE (Rotary Positional Embeddings)
Eine Positionskodierungsmethode, die Abfrage- und Schlüsselvektoren dreht, um relative Tokenpositionen zu kodieren.
Positionskodierung
Zu Token-Einbettungen hinzugefügte Informationen, damit Transformatoren die Reihenfolge der Sequenzen unterscheiden können.
Schiebefenster Achtung
Ein Aufmerksamkeitsmuster, bei dem sich jedes Token nur um ein Fenster mit fester Größe benachbarter Token kümmert, um den Rechenaufwand zu reduzieren.
Algorithmischer Bias
Systematische Ungerechtigkeit bei Modellergebnissen, die durch verzerrte Daten, Annahmen oder Modellierungsentscheidungen verursacht wird.
Aufmerksamkeitsmechanismus
Eine Modellkomponente, die sich beim Erzeugen einer Ausgabe dynamisch auf relevante Teile einer Eingabe konzentriert.
Voreingenommenheit
Ein konsistentes Muster von Fehlern oder Ungerechtigkeiten im Daten- oder Modellverhalten.

Erfahren Sie mehr in unseren kostenlosen Ratgebern

ALiBi Position Bias

See also

BPE (Byte Pair Encoding)Multi-Head AttentionSentencePieceFlash AttentionANN (Approximate Nearest Neighbor)QLoRAHNSWDPO (Direct Preference Optimization)
Durchsuchen Sie das vollständige KI-GlossarEntdecken Sie alle kostenlosen KI-Anleitungen