Глоссарий терминов искусственного интеллекта

Что такое Многоголовое внимание?

Определение

Механизм-преобразователь, который параллельно выполняет несколько операций внимания для фиксации различных типов отношений.

Просмотрите полный глоссарий AIИзучите все бесплатные руководства по искусственному интеллекту

Связанные термины

ТрансформаторНейронная архитектура, которая использует внимание для параллельного моделирования отношений между последовательностями.Многозапросный поискТехника поиска, которая переписывает пользовательский запрос на несколько вариантов для улучшения отзыва.Механизм вниманияКомпонент модели, который динамически фокусируется на соответствующих частях входных данных при создании выходных данных.Вспышка вниманияОптимизированный алгоритм внимания, который уменьшает использование памяти и ускоряет обучение и вывод преобразователей.Мультимодальная модельМодель, которая может обрабатывать или генерировать несколько типов данных, таких как текст, изображение и аудио.График знанийГрафическая структура сущностей и отношений, используемая для рассуждений или поиска.

Узнайте больше в наших бесплатных руководствах.

Multilingual LLMsMultimodal SearchHard Parameter Sharing in Multi-Task NetworksAttention Rollout and Head Pruning

См. также

Positional EncodingQLoRARoPE (Rotary Positional Embeddings)DPO (Direct Preference Optimization)ALiBiTree of ThoughtsSliding Window AttentionReAct