Término del glosario de IA

¿Qué es Atención de ventana corrediza?

Definición

Un patrón de atención en el que cada token atiende solo a una ventana de tamaño fijo de tokens cercanos para reducir la computación.

Explore el glosario completo de IAExplora todas las guías gratuitas de IA

Términos relacionados

PodaEliminación de pesos o neuronas del modelo menos importantes para reducir el tamaño y el cálculo.Facturación basada en el usoPrecios donde los costos escalan con llamadas API, tokens, tiempo de inferencia o computación consumida.Ley de escalaUna relación empírica que muestra cómo mejora el rendimiento con el tamaño, los datos o la computación del modelo.Modelo dispersoUn modelo donde muchos parámetros son cero o están inactivos para reducir el cálculo.Decodificación especulativaUn método de aceleración de inferencia en el que un modelo borrador pequeño propone tokens que un modelo más grande verifica en paralelo.Ventana de contextoLa cantidad máxima de tokens de entrada que un modelo de lenguaje puede procesar a la vez.

Obtenga más información en nuestras guías gratuitas.

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

Véase también

ALiBiBPE (Byte Pair Encoding)RoPE (Rotary Positional Embeddings)SentencePiecePositional EncodingANN (Approximate Nearest Neighbor)Multi-Head AttentionHNSW