Termine del glossario AI

Cos'è Attenzione flash?

Definizione

Un algoritmo di attenzione ottimizzato che riduce l'utilizzo della memoria e accelera l'addestramento e l'inferenza del trasformatore.

Termini correlati

Negozio di funzionalità
Un sistema gestito per archiviare e fornire in modo coerente funzionalità ML convalidate per l'addestramento e l'inferenza.
Propagazione all'indietro
L'algoritmo di training principale che aggiorna i pesi del modello propagando gli errori di previsione all'indietro attraverso la rete.
Quantizzazione del modello
Riduzione della precisione numerica dei pesi del modello per ridurre i costi di memoria e inferenza.
Trasformatore
Un'architettura neurale che utilizza l'attenzione per modellare le relazioni tra sequenze in parallelo.
Perdita di allenamento
Il valore dell'errore del modello calcolato durante l'addestramento e ottimizzato verso il basso nel tempo.
Attenzione multi-testa
Un meccanismo trasformatore che esegue diverse operazioni di attenzione in parallelo per catturare diversi tipi di relazioni.

Scopri di più nelle nostre guide gratuite

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

Vedi anche

QLoRADPO (Direct Preference Optimization)Positional EncodingTree of ThoughtsRoPE (Rotary Positional Embeddings)ReActALiBiAgentic Loop
Sfoglia il glossario completo dell'intelligenza artificialeEsplora tutte le guide gratuite sull'intelligenza artificiale