Término del glosario de IA

¿Qué es Mecanismo de atención?

Definición

Un componente del modelo que se centra dinámicamente en partes relevantes de una entrada al producir una salida.

Explore el glosario completo de IAExplora todas las guías gratuitas de IA

Términos relacionados

CodificadorEl componente de un modelo que transforma la entrada en representaciones latentes.Atención multicabezalUn mecanismo transformador que ejecuta varias operaciones de atención en paralelo para capturar diferentes tipos de relaciones.CoartadaUn método de sesgo posicional que penaliza las puntuaciones de atención en función de la distancia simbólica, lo que ayuda a los modelos a extrapolar a contextos más largos.ClasificaciónUna tarea en la que un modelo asigna una entrada a una o más categorías predefinidas.Ventana de contextoLa cantidad máxima de tokens de entrada que un modelo de lenguaje puede procesar a la vez.Deriva de datosUn cambio en los datos de entrada del mundo real a lo largo del tiempo que puede degradar el rendimiento del modelo.

Obtenga más información en nuestras guías gratuitas.

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

Véase también

Artificial Intelligence (AI)Autonomous SystemAPI (Application Programming Interface)BackpropagationAnnotationBaseline ModelAlgorithmic TransparencyBenchmark