Término del glosario de IA

¿Qué es Coartada?

Definición

Un método de sesgo posicional que penaliza las puntuaciones de atención en función de la distancia simbólica, lo que ayuda a los modelos a extrapolar a contextos más largos.

Explore el glosario completo de IAExplora todas las guías gratuitas de IA

Términos relacionados

RoPE (Incrustaciones posicionales rotativas)Un método de codificación posicional que rota los vectores clave y de consulta para codificar posiciones relativas de tokens.Codificación posicionalInformación agregada a las incrustaciones de tokens para que los transformadores puedan distinguir el orden de secuencia.Atención de ventana corredizaUn patrón de atención en el que cada token atiende solo a una ventana de tamaño fijo de tokens cercanos para reducir la computación.Sesgo algorítmicoInjusticia sistemática en los resultados del modelo causada por datos, suposiciones o elecciones de modelado sesgados.Mecanismo de atenciónUn componente del modelo que se centra dinámicamente en partes relevantes de una entrada al producir una salida.SesgoUn patrón constante de error o injusticia en los datos o el comportamiento del modelo.

Obtenga más información en nuestras guías gratuitas.

ALiBi Position Bias

Véase también

BPE (Byte Pair Encoding)Multi-Head AttentionSentencePieceFlash AttentionANN (Approximate Nearest Neighbor)QLoRAHNSWDPO (Direct Preference Optimization)