Глоссарий терминов искусственного интеллекта

Что такое Многоголовое внимание?

Определение

Механизм-преобразователь, который параллельно выполняет несколько операций внимания для фиксации различных типов отношений.

Связанные термины

Трансформатор
Нейронная архитектура, которая использует внимание для параллельного моделирования отношений между последовательностями.
Многозапросный поиск
Техника поиска, которая переписывает пользовательский запрос на несколько вариантов для улучшения отзыва.
Механизм внимания
Компонент модели, который динамически фокусируется на соответствующих частях входных данных при создании выходных данных.
Вспышка внимания
Оптимизированный алгоритм внимания, который уменьшает использование памяти и ускоряет обучение и вывод преобразователей.
Мультимодальная модель
Модель, которая может обрабатывать или генерировать несколько типов данных, таких как текст, изображение и аудио.
График знаний
Графическая структура сущностей и отношений, используемая для рассуждений или поиска.

Узнайте больше в наших бесплатных руководствах.

Multilingual LLMsMultimodal SearchHard Parameter Sharing in Multi-Task NetworksAttention Rollout and Head Pruning

См. также

Positional EncodingQLoRARoPE (Rotary Positional Embeddings)DPO (Direct Preference Optimization)ALiBiTree of ThoughtsSliding Window AttentionReAct
Просмотрите полный глоссарий AIИзучите все бесплатные руководства по искусственному интеллекту