Termen de glosar AI

Ce este ALiBi?

Definiție

O metodă de părtinire pozițională care penalizează scorurile de atenție pe baza distanței simbol, ajutând modelele să extrapoleze în contexte mai lungi.

Răsfoiți întregul glosar AIExplorați toate ghidurile AI gratuite

Termeni înrudiți

RoPE (înglobare pozițională rotativă)O metodă de codificare pozițională care rotește vectorii de interogare și cheie pentru a codifica pozițiile relative ale simbolurilor.Codificare poziționalăInformații adăugate la înglobarea jetonelor, astfel încât transformatoarele să poată distinge ordinea secvenței.Atenție fereastră glisantăUn model de atenție în care fiecare jeton se ocupă doar de o fereastră de dimensiune fixă a jetonelor din apropiere pentru a reduce calculul.Bias algoritmicNedreptate sistematică în rezultatele modelului cauzată de date, ipoteze sau opțiuni de modelare distorsionate.Mecanismul de atențieO componentă de model care se concentrează dinamic asupra părților relevante ale unei intrări atunci când produce o ieșire.părtinireUn model consistent de eroare sau incorectitudine în comportamentul datelor sau modelului.

Aflați mai multe în ghidurile noastre gratuite

ALiBi Position Bias

Vezi și

BPE (Byte Pair Encoding)Multi-Head AttentionSentencePieceFlash AttentionANN (Approximate Nearest Neighbor)QLoRAHNSWDPO (Direct Preference Optimization)