Término del glosario de IA

que es Atención relámpago?

Definición

Un algoritmo de atención optimizado que reduce el uso de memoria y acelera el entrenamiento y la inferencia de transformadores.

Términos relacionados

Tienda de funciones
Un sistema administrado para almacenar y ofrecer funciones de aprendizaje automático validadas de manera consistente para capacitación e inferencia.
Propagación hacia atrás
El algoritmo de entrenamiento central que actualiza los pesos del modelo propagando los errores de predicción hacia atrás a través de la red.
Cuantización del modelo
Reducir la precisión numérica de los pesos del modelo para disminuir el costo de memoria e inferencia.
Transformador
Una arquitectura neuronal que utiliza la atención para modelar relaciones entre secuencias en paralelo.
Pérdida de entrenamiento
El valor de error del modelo calculado durante el entrenamiento y optimizado hacia abajo con el tiempo.
Atención multicabezal
Un mecanismo transformador que ejecuta varias operaciones de atención en paralelo para capturar diferentes tipos de relaciones.

Obtenga más información en nuestras guías gratuitas.

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

See also

QLoRADPO (Direct Preference Optimization)Positional EncodingTree of ThoughtsRoPE (Rotary Positional Embeddings)ReActALiBiAgentic Loop
Explore el glosario completo de IAExplora todas las guías gratuitas de IA