Término del glosario de IA

que es ALiBi?

Definición

Un método de sesgo posicional que penaliza las puntuaciones de atención en función de la distancia simbólica, lo que ayuda a los modelos a extrapolar a contextos más largos.

Términos relacionados

RoPE (Incrustaciones posicionales rotativas)
Un método de codificación posicional que rota los vectores clave y de consulta para codificar posiciones relativas de tokens.
Codificación posicional
Información agregada a las incrustaciones de tokens para que los transformadores puedan distinguir el orden de secuencia.
Atención de ventana corrediza
Un patrón de atención en el que cada token atiende solo a una ventana de tamaño fijo de tokens cercanos para reducir la computación.
Sesgo algorítmico
Injusticia sistemática en los resultados del modelo causada por datos, suposiciones o elecciones de modelado sesgados.
Mecanismo de atención
Un componente del modelo que se centra dinámicamente en partes relevantes de una entrada al producir una salida.
Sesgo
Un patrón constante de error o injusticia en los datos o el comportamiento del modelo.

Obtenga más información en nuestras guías gratuitas.

ALiBi Position Bias

See also

BPE (Byte Pair Encoding)Multi-Head AttentionSentencePieceFlash AttentionANN (Approximate Nearest Neighbor)QLoRAHNSWDPO (Direct Preference Optimization)
Explore el glosario completo de IAExplora todas las guías gratuitas de IA