Термін глосарію AI

Що таке Механізм уваги?

Визначення

Компонент моделі, який динамічно фокусується на відповідних частинах вхідних даних під час створення виходу.

Перегляньте повний Глосарій ШІПерегляньте всі безкоштовні посібники зі штучного інтелекту

Споріднені терміни

КодувальникКомпонент моделі, який перетворює вхідні дані на приховані представлення.Багатостороння увагаМеханізм трансформатора, який виконує декілька операцій уваги паралельно, щоб охопити різні типи зв’язків.АЛіБіМетод позиційного упередження, який штрафує показники уваги на основі символічної відстані, допомагаючи моделям екстраполювати на довші контексти.КласифікаціяЗавдання, у якому модель призначає вхідні дані одній або кільком попередньо визначеним категоріям.Контекстне вікноМаксимальна кількість вхідних токенів, які мовна модель може обробити одночасно.Дрейф данихЗміна вхідних даних реального світу з часом, що може погіршити продуктивність моделі.

Дізнайтеся більше в наших безкоштовних посібниках

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

Дивіться також

Artificial Intelligence (AI)Autonomous SystemAPI (Application Programming Interface)BackpropagationAnnotationBaseline ModelAlgorithmic TransparencyBenchmark