Termín glosář AI

co je ALiBi?

Definice

Metoda pozičního zkreslení, která penalizuje skóre pozornosti na základě tokenové vzdálenosti a pomáhá modelům extrapolovat na delší kontexty.

Související pojmy

RoPE (Rotary Positional Embeddings)
Metoda pozičního kódování, která otáčí dotazovací a klíčové vektory za účelem kódování relativních pozic tokenů.
Poziční kódování
Informace přidané do vložení tokenů, aby transformátory mohly rozlišit pořadí sekvencí.
Posuvné okno Pozor
Vzor pozornosti, kde se každý token věnuje pouze oknu blízkých tokenů s pevnou velikostí, aby se snížil počet výpočtů.
Algoritmické zkreslení
Systematická nespravedlnost ve výstupech modelu způsobená zkreslenými daty, předpoklady nebo volbami modelování.
Mechanismus pozornosti
Komponenta modelu, která se při vytváření výstupu dynamicky zaměřuje na relevantní části vstupu.
Zaujatost
Konzistentní vzorec chyb nebo nespravedlivosti v chování dat nebo modelu.

Více se dozvíte v našich bezplatných průvodcích

ALiBi Position Bias

Viz také

BPE (Byte Pair Encoding)Multi-Head AttentionSentencePieceFlash AttentionANN (Approximate Nearest Neighbor)QLoRAHNSWDPO (Direct Preference Optimization)
Projděte si celý glosář AIProzkoumejte všechny bezplatné průvodce AI