Termen de glosar AI

Ce este Flash Atenție?

Definiție

Un algoritm de atenție optimizat care reduce utilizarea memoriei și accelerează antrenamentul și inferența transformatorului.

Termeni înrudiți

Magazin de caracteristici
Un sistem gestionat pentru stocarea și difuzarea caracteristicilor ML validate în mod consecvent pentru instruire și inferență.
Propagarea inversă
Algoritmul de antrenament de bază care actualizează ponderile modelului prin propagarea erorilor de predicție înapoi prin rețea.
Cuantificarea modelului
Reducerea preciziei numerice a greutăților modelului pentru a reduce costurile de memorie și de inferență.
Transformator
O arhitectură neuronală care folosește atenția pentru a modela relațiile între secvențe în paralel.
Pierderea antrenamentului
Valoarea erorii modelului calculată în timpul antrenamentului și optimizată în scădere în timp.
Atenție cu mai multe capete
Un mecanism transformator care rulează mai multe operațiuni de atenție în paralel pentru a capta diferite tipuri de relații.

Aflați mai multe în ghidurile noastre gratuite

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

Vezi și

QLoRADPO (Direct Preference Optimization)Positional EncodingTree of ThoughtsRoPE (Rotary Positional Embeddings)ReActALiBiAgentic Loop
Răsfoiți întregul glosar AIExplorați toate ghidurile AI gratuite