Termen de glosar AI

Ce este Codificare pozițională?

Definiție

Informații adăugate la înglobarea jetonelor, astfel încât transformatoarele să poată distinge ordinea secvenței.

Termeni înrudiți

RoPE (înglobare pozițională rotativă)
O metodă de codificare pozițională care rotește vectorii de interogare și cheie pentru a codifica pozițiile relative ale simbolurilor.
ALiBi
O metodă de părtinire pozițională care penalizează scorurile de atenție pe baza distanței simbol, ajutând modelele să extrapoleze în contexte mai lungi.
Reglare fină eficientă în funcție de parametri (PEFT)
Metode care adaptează modelele prin antrenarea unui mic subset de parametri adăugați.
AGI (Inteligenta Generala Artificiala)
Un sistem AI ipotetic care poate îndeplini majoritatea sarcinilor intelectuale la nivel uman în multe domenii.
Agent AI
Un sistem software care poate observa, raționa și întreprinde acțiuni pentru a atinge un obiectiv, folosind adesea instrumente și memorie.
Adnotare
Etichete sau metadate adăugate de oameni utilizate pentru a instrui sau evalua modele de învățare automată.

Aflați mai multe în ghidurile noastre gratuite

Positional Interpolation for Long ContextInstant-NGP Hash EncodingByte-Pair EncodingTokenization and Byte Pair Encoding

Vezi și

Multi-Head AttentionFlash AttentionQLoRASliding Window AttentionDPO (Direct Preference Optimization)BPE (Byte Pair Encoding)Tree of ThoughtsSentencePiece
Răsfoiți întregul glosar AIExplorați toate ghidurile AI gratuite