Термин от речника на AI

Какво е Механизъм на вниманието?

Определение

Компонент на модел, който динамично се фокусира върху съответните части на вход, когато създава изход.

Разгледайте пълния AI речникРазгледайте всички безплатни ръководства за AI

Свързани термини

ЕнкодерКомпонентът на модел, който трансформира входа в латентни представяния.Внимание с няколко главиТрансформиращ механизъм, който изпълнява няколко операции на вниманието паралелно, за да улови различни типове взаимоотношения.ALiBiМетод на позиционно отклонение, който наказва оценките за внимание въз основа на символично разстояние, като помага на моделите да екстраполират към по-дълги контексти.КласификацияЗадача, при която модел присвоява вход към една или повече предварително дефинирани категории.Контекстен прозорецМаксималното количество входни токени, които един езиков модел може да обработва наведнъж.Дрейф на данниПромяна във входните данни от реалния свят с течение на времето, която може да влоши производителността на модела.

Научете повече в нашите безплатни ръководства

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

Вижте също

Artificial Intelligence (AI)Autonomous SystemAPI (Application Programming Interface)BackpropagationAnnotationBaseline ModelAlgorithmic TransparencyBenchmark