Término del glosario de IA

que es Codificación posicional?

Definición

Información agregada a las incrustaciones de tokens para que los transformadores puedan distinguir el orden de secuencia.

Términos relacionados

RoPE (Incrustaciones posicionales rotativas)
Un método de codificación posicional que rota los vectores clave y de consulta para codificar posiciones relativas de tokens.
ALiBi
Un método de sesgo posicional que penaliza las puntuaciones de atención en función de la distancia simbólica, lo que ayuda a los modelos a extrapolar a contextos más largos.
Ajuste fino eficiente de parámetros (PEFT)
Métodos que adaptan modelos entrenando un pequeño subconjunto de parámetros agregados.
AGI (Inteligencia General Artificial)
Un hipotético sistema de IA que puede realizar la mayoría de las tareas intelectuales a nivel humano en muchos dominios.
Agente de IA
Un sistema de software que puede observar, razonar y tomar acciones para lograr un objetivo, a menudo utilizando herramientas y memoria.
Anotación
Etiquetas o metadatos agregados por humanos que se utilizan para entrenar o evaluar modelos de aprendizaje automático.

Obtenga más información en nuestras guías gratuitas.

Positional Interpolation for Long ContextInstant-NGP Hash EncodingByte-Pair EncodingTokenization and Byte Pair Encoding

See also

Multi-Head AttentionFlash AttentionQLoRASliding Window AttentionDPO (Direct Preference Optimization)BPE (Byte Pair Encoding)Tree of ThoughtsSentencePiece
Explore el glosario completo de IAExplora todas las guías gratuitas de IA