What is Attention Mechanism? Definition | AI Understanding

Определение

Компонент модели, который динамически фокусируется на соответствующих частях входных данных при создании выходных данных.

Связанные термины

Компонент модели, который преобразует входные данные в скрытые представления.

Многоголовое внимание

Механизм-преобразователь, который параллельно выполняет несколько операций внимания для фиксации различных типов отношений.

Метод позиционной предвзятости, который штрафует оценки внимания на основе расстояния между маркерами, помогая моделям экстраполировать на более длинные контексты.

Классификация

Задача, в которой модель присваивает входные данные одной или нескольким предопределенным категориям.

Контекстное окно

Максимальное количество входных токенов, которые языковая модель может обработать одновременно.

Дрейф данных

Изменение реальных входных данных с течением времени, которое может ухудшить производительность модели.

Узнайте больше в наших бесплатных руководствах.

Attention Rollout and Head Pruning Sequence Parallelism and Ring Attention Multi-Head Latent Attention RWKV Linear Attention

См. также

Artificial Intelligence (AI)Autonomous System API (Application Programming Interface)Backpropagation Annotation Baseline Model Algorithmic Transparency Benchmark

Просмотрите полный глоссарий AI Изучите все бесплатные руководства по искусственному интеллекту