AI Ordlista Term

Vad är ALiBi?

Definition

En positionell bias-metod som straffar uppmärksamhetspoäng baserat på symboliskt avstånd, vilket hjälper modeller att extrapolera till längre sammanhang.

Relaterade termer

RoPE (Rotary Positional Embeddings)
En positionskodningsmetod som roterar fråge- och nyckelvektorer för att koda relativa tokenpositioner.
Positionell kodning
Information läggs till tokeninbäddningar så att transformatorer kan urskilja sekvensordning.
Skjutfönster Uppmärksamhet
Ett uppmärksamhetsmönster där varje token endast tar hand om ett fönster med fast storlek av närliggande tokens för att minska beräkningen.
Algoritmisk bias
Systematisk orättvisa i modellutdata orsakade av skeva data, antaganden eller modelleringsval.
Uppmärksamhetsmekanism
En modellkomponent som dynamiskt fokuserar på relevanta delar av en ingång när en utdata produceras.
Bias
Ett konsekvent mönster av fel eller orättvisa i data eller modellbeteende.

Läs mer i våra kostnadsfria guider

ALiBi Position Bias

See also

BPE (Byte Pair Encoding)Multi-Head AttentionSentencePieceFlash AttentionANN (Approximate Nearest Neighbor)QLoRAHNSWDPO (Direct Preference Optimization)
Bläddra i hela AI-ordlistanUtforska alla gratis AI-guider