Término del glosario de IA

¿Qué es Codificación posicional?

Definición

Información agregada a las incrustaciones de tokens para que los transformadores puedan distinguir el orden de secuencia.

Explore el glosario completo de IAExplora todas las guías gratuitas de IA

Términos relacionados

RoPE (Incrustaciones posicionales rotativas)Un método de codificación posicional que rota los vectores clave y de consulta para codificar posiciones relativas de tokens.CoartadaUn método de sesgo posicional que penaliza las puntuaciones de atención en función de la distancia simbólica, lo que ayuda a los modelos a extrapolar a contextos más largos.Ajuste fino eficiente de parámetros (PEFT)Métodos que adaptan modelos entrenando un pequeño subconjunto de parámetros agregados.AGI (Inteligencia General Artificial)Un hipotético sistema de IA que puede realizar la mayoría de las tareas intelectuales a nivel humano en muchos dominios.Agente de IAUn sistema de software que puede observar, razonar y tomar acciones para lograr un objetivo, a menudo utilizando herramientas y memoria.AnotaciónEtiquetas o metadatos agregados por humanos que se utilizan para entrenar o evaluar modelos de aprendizaje automático.

Obtenga más información en nuestras guías gratuitas.

Positional Interpolation for Long ContextInstant-NGP Hash EncodingByte-Pair EncodingTokenization and Byte Pair Encoding

Véase también

Multi-Head AttentionFlash AttentionQLoRASliding Window AttentionDPO (Direct Preference Optimization)BPE (Byte Pair Encoding)Tree of ThoughtsSentencePiece