Término del glosario de IA

¿Qué es Atención relámpago?

Definición

Un algoritmo de atención optimizado que reduce el uso de memoria y acelera el entrenamiento y la inferencia de transformadores.

Explore el glosario completo de IAExplora todas las guías gratuitas de IA

Términos relacionados

Tienda de funcionesUn sistema administrado para almacenar y ofrecer funciones de aprendizaje automático validadas de manera consistente para capacitación e inferencia.Propagación hacia atrásEl algoritmo de entrenamiento central que actualiza los pesos del modelo propagando los errores de predicción hacia atrás a través de la red.Cuantización del modeloReducir la precisión numérica de los pesos del modelo para disminuir el costo de memoria e inferencia.TransformadorUna arquitectura neuronal que utiliza la atención para modelar relaciones entre secuencias en paralelo.Pérdida de entrenamientoEl valor de error del modelo calculado durante el entrenamiento y optimizado hacia abajo con el tiempo.Atención multicabezalUn mecanismo transformador que ejecuta varias operaciones de atención en paralelo para capturar diferentes tipos de relaciones.

Obtenga más información en nuestras guías gratuitas.

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

Véase también

QLoRADPO (Direct Preference Optimization)Positional EncodingTree of ThoughtsRoPE (Rotary Positional Embeddings)ReActALiBiAgentic Loop