Termine del glossario AI

Cos'è RoPE (incorporamenti posizionali rotanti)?

Definizione

Un metodo di codifica posizionale che ruota la query e i vettori chiave per codificare le posizioni relative dei token.

Termini correlati

Codifica posizionale
Informazioni aggiunte agli incorporamenti di token in modo che i trasformatori possano distinguere l'ordine della sequenza.
ALiBi
Un metodo di bias posizionale che penalizza i punteggi di attenzione in base alla distanza del token, aiutando i modelli a estrapolare contesti più lunghi.
RAG-Fusione
Un metodo di recupero che genera più varianti di query, recupera i risultati per ciascuna e fonde le classifiche.
ANN (vicino più vicino approssimativo)
Algoritmi che trovano vettori vicini a una query senza un confronto esaustivo, barattando l'esattezza con la velocità.
RAG (generazione aumentata di recupero)
Un metodo che recupera la conoscenza esterna e la alimenta nella generazione al momento dell'inferenza.
Apprendimento per rinforzo dal feedback umano (RLHF)
Un metodo di training che utilizza segnali di preferenza umana per modellare il comportamento del modello.

Scopri di più nelle nostre guide gratuite

Audio Embeddings and Representation LearningSentence-BERT EmbeddingsX-Vector Speaker EmbeddingsHyDE Hypothetical Document Embeddings

Vedi anche

Multi-Head AttentionSliding Window AttentionFlash AttentionBPE (Byte Pair Encoding)QLoRASentencePieceDPO (Direct Preference Optimization)Tree of Thoughts
Sfoglia il glossario completo dell'intelligenza artificialeEsplora tutte le guide gratuite sull'intelligenza artificiale