Termen de glosar AI

Ce este RoPE (înglobare pozițională rotativă)?

Definiție

O metodă de codificare pozițională care rotește vectorii de interogare și cheie pentru a codifica pozițiile relative ale simbolurilor.

Răsfoiți întregul glosar AIExplorați toate ghidurile AI gratuite

Termeni înrudiți

Codificare poziționalăInformații adăugate la înglobarea jetonelor, astfel încât transformatoarele să poată distinge ordinea secvenței.ALiBiO metodă de părtinire pozițională care penalizează scorurile de atenție pe baza distanței simbol, ajutând modelele să extrapoleze în contexte mai lungi.RAG-FusionO metodă de recuperare care generează mai multe variante de interogare, preia rezultatele pentru fiecare și contopește clasamentele.ANN (aproximativ cel mai apropiat vecin)Algoritmi care găsesc vectori aproape de o interogare fără o comparație exhaustivă, schimbând exactitatea cu viteza.RAG (Recuperare-Augmented Generation)O metodă care preia cunoștințe externe și le alimentează în generare la momentul deducerii.Învățare prin consolidare din feedbackul uman (RLHF)O metodă de antrenament care utilizează semnale de preferințe umane pentru a modela comportamentul modelului.

Aflați mai multe în ghidurile noastre gratuite

Audio Embeddings and Representation LearningSentence-BERT EmbeddingsX-Vector Speaker EmbeddingsHyDE Hypothetical Document Embeddings

Vezi și

Multi-Head AttentionSliding Window AttentionFlash AttentionBPE (Byte Pair Encoding)QLoRASentencePieceDPO (Direct Preference Optimization)Tree of Thoughts