Termen de glosar AI

Ce este Flash Atenție?

Definiție

Un algoritm de atenție optimizat care reduce utilizarea memoriei și accelerează antrenamentul și inferența transformatorului.

Răsfoiți întregul glosar AIExplorați toate ghidurile AI gratuite

Termeni înrudiți

Magazin de caracteristiciUn sistem gestionat pentru stocarea și difuzarea caracteristicilor ML validate în mod consecvent pentru instruire și inferență.Propagarea inversăAlgoritmul de antrenament de bază care actualizează ponderile modelului prin propagarea erorilor de predicție înapoi prin rețea.Cuantificarea modeluluiReducerea preciziei numerice a greutăților modelului pentru a reduce costurile de memorie și de inferență.TransformatorO arhitectură neuronală care folosește atenția pentru a modela relațiile între secvențe în paralel.Pierderea antrenamentuluiValoarea erorii modelului calculată în timpul antrenamentului și optimizată în scădere în timp.Atenție cu mai multe capeteUn mecanism transformator care rulează mai multe operațiuni de atenție în paralel pentru a capta diferite tipuri de relații.

Aflați mai multe în ghidurile noastre gratuite

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

Vezi și

QLoRADPO (Direct Preference Optimization)Positional EncodingTree of ThoughtsRoPE (Rotary Positional Embeddings)ReActALiBiAgentic Loop