What is Multi-Head Attention? Definition | AI Understanding

Определение

Трансформиращ механизъм, който изпълнява няколко операции на вниманието паралелно, за да улови различни типове взаимоотношения.

Свързани термини

Трансформатор

Невронна архитектура, която използва внимание, за да моделира паралелни връзки между последователности.

Извличане на множество заявки

Техника за извличане, която пренаписва потребителската заявка в няколко варианта, за да подобри запомнянето.

Механизъм на вниманието

Компонент на модел, който динамично се фокусира върху съответните части на вход, когато създава изход.

Светкавично внимание

Оптимизиран алгоритъм за внимание, който намалява използването на паметта и ускорява обучението на трансформатора и изводите.

Мултимодален модел

Модел, който може да обработва или генерира множество типове данни като текст, изображение и аудио.

Графика на знанието

Графична структура от обекти и връзки, използвани за разсъждение или извличане.

Научете повече в нашите безплатни ръководства

Multilingual LLMs Multimodal Search Hard Parameter Sharing in Multi-Task Networks Attention Rollout and Head Pruning

See also

Positional Encoding QLoRA RoPE (Rotary Positional Embeddings)DPO (Direct Preference Optimization)ALiBi Tree of Thoughts Sliding Window Attention ReAct

Разгледайте пълния AI речник Разгледайте всички безплатни ръководства за AI