Termen de glosar AI

Ce este ALiBi?

Definiție

O metodă de părtinire pozițională care penalizează scorurile de atenție pe baza distanței simbol, ajutând modelele să extrapoleze în contexte mai lungi.

Termeni înrudiți

RoPE (înglobare pozițională rotativă)
O metodă de codificare pozițională care rotește vectorii de interogare și cheie pentru a codifica pozițiile relative ale simbolurilor.
Codificare pozițională
Informații adăugate la înglobarea jetonelor, astfel încât transformatoarele să poată distinge ordinea secvenței.
Atenție fereastră glisantă
Un model de atenție în care fiecare jeton se ocupă doar de o fereastră de dimensiune fixă a jetonelor din apropiere pentru a reduce calculul.
Bias algoritmic
Nedreptate sistematică în rezultatele modelului cauzată de date, ipoteze sau opțiuni de modelare distorsionate.
Mecanismul de atenție
O componentă de model care se concentrează dinamic asupra părților relevante ale unei intrări atunci când produce o ieșire.
părtinire
Un model consistent de eroare sau incorectitudine în comportamentul datelor sau modelului.

Aflați mai multe în ghidurile noastre gratuite

ALiBi Position Bias

Vezi și

BPE (Byte Pair Encoding)Multi-Head AttentionSentencePieceFlash AttentionANN (Approximate Nearest Neighbor)QLoRAHNSWDPO (Direct Preference Optimization)
Răsfoiți întregul glosar AIExplorați toate ghidurile AI gratuite