Término del glosario de IA

que es RoPE (Incrustaciones posicionales rotativas)?

Definición

Un método de codificación posicional que rota los vectores clave y de consulta para codificar posiciones relativas de tokens.

Términos relacionados

Codificación posicional
Información agregada a las incrustaciones de tokens para que los transformadores puedan distinguir el orden de secuencia.
ALiBi
Un método de sesgo posicional que penaliza las puntuaciones de atención en función de la distancia simbólica, lo que ayuda a los modelos a extrapolar a contextos más largos.
RAG-Fusión
Un método de recuperación que genera múltiples variantes de consulta, recupera resultados para cada una y fusiona las clasificaciones.
ANN (vecino más cercano aproximado)
Algoritmos que encuentran vectores cercanos a una consulta sin una comparación exhaustiva, intercambiando exactitud por velocidad.
RAG (Generación aumentada de recuperación)
Un método que recupera conocimiento externo y lo alimenta a la generación en el momento de la inferencia.
Aprendizaje reforzado a partir de la retroalimentación humana (RLHF)
Un método de entrenamiento que utiliza señales de preferencia humana para dar forma al comportamiento del modelo.

Obtenga más información en nuestras guías gratuitas.

Audio Embeddings and Representation LearningSentence-BERT EmbeddingsX-Vector Speaker EmbeddingsHyDE Hypothetical Document Embeddings

See also

Multi-Head AttentionSliding Window AttentionFlash AttentionBPE (Byte Pair Encoding)QLoRASentencePieceDPO (Direct Preference Optimization)Tree of Thoughts
Explore el glosario completo de IAExplora todas las guías gratuitas de IA