Termine del glossario AI

Cos'è Codifica posizionale?

Definizione

Informazioni aggiunte agli incorporamenti di token in modo che i trasformatori possano distinguere l'ordine della sequenza.

Termini correlati

RoPE (incorporamenti posizionali rotanti)
Un metodo di codifica posizionale che ruota la query e i vettori chiave per codificare le posizioni relative dei token.
ALiBi
Un metodo di bias posizionale che penalizza i punteggi di attenzione in base alla distanza del token, aiutando i modelli a estrapolare contesti più lunghi.
Regolazione fine efficiente dei parametri (PEFT)
Metodi che adattano i modelli addestrando un piccolo sottoinsieme di parametri aggiunti.
AGI (Intelligenza Generale Artificiale)
Un ipotetico sistema di intelligenza artificiale in grado di eseguire la maggior parte dei compiti intellettuali a livello umano in molti domini.
Agente dell'IA
Un sistema software in grado di osservare, ragionare e intraprendere azioni per raggiungere un obiettivo, spesso utilizzando strumenti e memoria.
Annotazione
Etichette o metadati aggiunti dall'uomo utilizzati per addestrare o valutare modelli di machine learning.

Scopri di più nelle nostre guide gratuite

Positional Interpolation for Long ContextInstant-NGP Hash EncodingByte-Pair EncodingTokenization and Byte Pair Encoding

Vedi anche

Multi-Head AttentionFlash AttentionQLoRASliding Window AttentionDPO (Direct Preference Optimization)BPE (Byte Pair Encoding)Tree of ThoughtsSentencePiece
Sfoglia il glossario completo dell'intelligenza artificialeEsplora tutte le guide gratuite sull'intelligenza artificiale