Termine del glossario AI

Cos'è Meccanismo di attenzione?

Definizione

Un componente del modello che si concentra dinamicamente sulle parti rilevanti di un input quando si produce un output.

Termini correlati

Codificatore
La componente di un modello che trasforma gli input in rappresentazioni latenti.
Attenzione multi-testa
Un meccanismo trasformatore che esegue diverse operazioni di attenzione in parallelo per catturare diversi tipi di relazioni.
ALiBi
Un metodo di bias posizionale che penalizza i punteggi di attenzione in base alla distanza del token, aiutando i modelli a estrapolare contesti più lunghi.
Classificazione
Un'attività in cui un modello assegna un input a una o più categorie predefinite.
Finestra di contesto
La quantità massima di token di input che un modello linguistico può elaborare contemporaneamente.
Deriva dei dati
Uno spostamento nel tempo dei dati di input del mondo reale che può ridurre le prestazioni del modello.

Scopri di più nelle nostre guide gratuite

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

Vedi anche

Artificial Intelligence (AI)Autonomous SystemAPI (Application Programming Interface)BackpropagationAnnotationBaseline ModelAlgorithmic TransparencyBenchmark
Sfoglia il glossario completo dell'intelligenza artificialeEsplora tutte le guide gratuite sull'intelligenza artificiale