Глоссарий терминов искусственного интеллекта

Что такое Механизм внимания?

Определение

Компонент модели, который динамически фокусируется на соответствующих частях входных данных при создании выходных данных.

Просмотрите полный глоссарий AIИзучите все бесплатные руководства по искусственному интеллекту

Связанные термины

КодерКомпонент модели, который преобразует входные данные в скрытые представления.Многоголовое вниманиеМеханизм-преобразователь, который параллельно выполняет несколько операций внимания для фиксации различных типов отношений.АлиБиМетод позиционной предвзятости, который штрафует оценки внимания на основе расстояния между маркерами, помогая моделям экстраполировать на более длинные контексты.КлассификацияЗадача, в которой модель присваивает входные данные одной или нескольким предопределенным категориям.Контекстное окноМаксимальное количество входных токенов, которые языковая модель может обработать одновременно.Дрейф данныхИзменение реальных входных данных с течением времени, которое может ухудшить производительность модели.

Узнайте больше в наших бесплатных руководствах.

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

См. также

Artificial Intelligence (AI)Autonomous SystemAPI (Application Programming Interface)BackpropagationAnnotationBaseline ModelAlgorithmic TransparencyBenchmark