Termín glosář AI

co je Blesková pozornost?

Definice

Optimalizovaný algoritmus pozornosti, který snižuje využití paměti a urychluje trénování a vyvozování transformátorů.

Související pojmy

Obchod s funkcemi
Spravovaný systém pro konzistentní ukládání a poskytování ověřených funkcí ML pro školení a vyvozování.
Zpětná propagace
Základní trénovací algoritmus, který aktualizuje váhy modelu šířením chyb predikce zpět po síti.
Kvantování modelu
Snížení numerické přesnosti modelových vah za účelem snížení nákladů na paměť a odvození.
Transformátor
Neuronová architektura, která využívá pozornost k paralelnímu modelování vztahů napříč sekvencemi.
Ztráta tréninku
Hodnota chyby modelu vypočítaná během tréninku a optimalizována směrem dolů v průběhu času.
Vícehlavá pozornost
Mechanismus transformátoru, který paralelně spouští několik operací pozornosti k zachycení různých typů vztahů.

Více se dozvíte v našich bezplatných průvodcích

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

Viz také

QLoRADPO (Direct Preference Optimization)Positional EncodingTree of ThoughtsRoPE (Rotary Positional Embeddings)ReActALiBiAgentic Loop
Projděte si celý glosář AIProzkoumejte všechny bezplatné průvodce AI