Término del glosario de IA

que es Mecanismo de atención?

Definición

Un componente del modelo que se centra dinámicamente en partes relevantes de una entrada al producir una salida.

Términos relacionados

Codificador
El componente de un modelo que transforma la entrada en representaciones latentes.
Atención multicabezal
Un mecanismo transformador que ejecuta varias operaciones de atención en paralelo para capturar diferentes tipos de relaciones.
ALiBi
Un método de sesgo posicional que penaliza las puntuaciones de atención en función de la distancia simbólica, lo que ayuda a los modelos a extrapolar a contextos más largos.
Clasificación
Una tarea en la que un modelo asigna una entrada a una o más categorías predefinidas.
Ventana de contexto
La cantidad máxima de tokens de entrada que un modelo de lenguaje puede procesar a la vez.
Deriva de datos
Un cambio en los datos de entrada del mundo real a lo largo del tiempo que puede degradar el rendimiento del modelo.

Obtenga más información en nuestras guías gratuitas.

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

See also

Artificial Intelligence (AI)Autonomous SystemAPI (Application Programming Interface)BackpropagationAnnotationBaseline ModelAlgorithmic TransparencyBenchmark
Explore el glosario completo de IAExplora todas las guías gratuitas de IA