Термин от речника на AI

Какво е Внимание с няколко глави?

Определение

Трансформиращ механизъм, който изпълнява няколко операции на вниманието паралелно, за да улови различни типове взаимоотношения.

Разгледайте пълния AI речникРазгледайте всички безплатни ръководства за AI

Свързани термини

ТрансформаторНевронна архитектура, която използва внимание, за да моделира паралелни връзки между последователности.Извличане на множество заявкиТехника за извличане, която пренаписва потребителската заявка в няколко варианта, за да подобри запомнянето.Механизъм на вниманиетоКомпонент на модел, който динамично се фокусира върху съответните части на вход, когато създава изход.Светкавично вниманиеОптимизиран алгоритъм за внимание, който намалява използването на паметта и ускорява обучението на трансформатора и изводите.Мултимодален моделМодел, който може да обработва или генерира множество типове данни като текст, изображение и аудио.Графика на знаниетоГрафична структура от обекти и връзки, използвани за разсъждение или извличане.

Научете повече в нашите безплатни ръководства

Multilingual LLMsMultimodal SearchHard Parameter Sharing in Multi-Task NetworksAttention Rollout and Head Pruning

Вижте също

Positional EncodingQLoRARoPE (Rotary Positional Embeddings)DPO (Direct Preference Optimization)ALiBiTree of ThoughtsSliding Window AttentionReAct