Ce este RoPE (înglobare pozițională rotativă)? Definiție | AI Understanding

Definiție

O metodă de codificare pozițională care rotește vectorii de interogare și cheie pentru a codifica pozițiile relative ale simbolurilor.

Termeni înrudiți

Codificare pozițională

Informații adăugate la înglobarea jetonelor, astfel încât transformatoarele să poată distinge ordinea secvenței.

O metodă de părtinire pozițională care penalizează scorurile de atenție pe baza distanței simbol, ajutând modelele să extrapoleze în contexte mai lungi.

O metodă de recuperare care generează mai multe variante de interogare, preia rezultatele pentru fiecare și contopește clasamentele.

ANN (aproximativ cel mai apropiat vecin)

Algoritmi care găsesc vectori aproape de o interogare fără o comparație exhaustivă, schimbând exactitatea cu viteza.

RAG (Recuperare-Augmented Generation)

O metodă care preia cunoștințe externe și le alimentează în generare la momentul deducerii.

Învățare prin consolidare din feedbackul uman (RLHF)

O metodă de antrenament care utilizează semnale de preferințe umane pentru a modela comportamentul modelului.

Aflați mai multe în ghidurile noastre gratuite

Audio Embeddings and Representation Learning Sentence-BERT Embeddings X-Vector Speaker Embeddings HyDE Hypothetical Document Embeddings

Vezi și

Multi-Head Attention Sliding Window Attention Flash Attention BPE (Byte Pair Encoding)QLoRA SentencePiece DPO (Direct Preference Optimization)Tree of Thoughts

Răsfoiți întregul glosar AI Explorați toate ghidurile AI gratuite