What is Multi-Head Attention? Definition | AI Understanding

Definice

Mechanismus transformátoru, který paralelně spouští několik operací pozornosti k zachycení různých typů vztahů.

Související pojmy

Neuronová architektura, která využívá pozornost k paralelnímu modelování vztahů napříč sekvencemi.

Multi-Query Retrieval

Technika vyhledávání, která přepisuje uživatelský dotaz do několika variant, aby se zlepšilo vyvolání.

Mechanismus pozornosti

Komponenta modelu, která se při vytváření výstupu dynamicky zaměřuje na relevantní části vstupu.

Blesková pozornost

Optimalizovaný algoritmus pozornosti, který snižuje využití paměti a urychluje trénování a vyvozování transformátorů.

Multimodální model

Model, který dokáže zpracovat nebo generovat více typů dat, jako je text, obrázek a zvuk.

Diagram znalostí

Grafová struktura entit a vztahů používaných k uvažování nebo vyhledávání.

Více se dozvíte v našich bezplatných průvodcích

Multilingual LLMs Multimodal Search Hard Parameter Sharing in Multi-Task Networks Attention Rollout and Head Pruning

Viz také

Positional Encoding QLoRA RoPE (Rotary Positional Embeddings)DPO (Direct Preference Optimization)ALiBi Tree of Thoughts Sliding Window Attention ReAct

Projděte si celý glosář AI Prozkoumejte všechny bezplatné průvodce AI