Termine del glossario AI

Cos'è Attenzione alla finestra scorrevole?

Definizione

Un modello di attenzione in cui ogni token si occupa solo di una finestra di dimensione fissa di token vicini per ridurre il calcolo.

Termini correlati

Potatura
Rimozione di pesi o neuroni del modello meno importanti per ridurre le dimensioni e il calcolo.
Fatturazione basata sull'utilizzo
Prezzi in cui i costi aumentano in base alle chiamate API, ai token, al tempo di inferenza o al calcolo consumato.
Legge di scala
Una relazione empirica che mostra come le prestazioni migliorano con le dimensioni, i dati o il calcolo del modello.
Modello sparso
Un modello in cui molti parametri sono pari a zero o inattivi per ridurre il calcolo.
Decodifica speculativa
Un metodo di accelerazione dell'inferenza in cui una piccola bozza di modello propone token che un modello più grande verifica in parallelo.
Finestra di contesto
La quantità massima di token di input che un modello linguistico può elaborare contemporaneamente.

Scopri di più nelle nostre guide gratuite

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

Vedi anche

ALiBiBPE (Byte Pair Encoding)RoPE (Rotary Positional Embeddings)SentencePiecePositional EncodingANN (Approximate Nearest Neighbor)Multi-Head AttentionHNSW
Sfoglia il glossario completo dell'intelligenza artificialeEsplora tutte le guide gratuite sull'intelligenza artificiale