Término del glosario de IA

¿Qué es RoPE (Incrustaciones posicionales rotativas)?

Definición

Un método de codificación posicional que rota los vectores clave y de consulta para codificar posiciones relativas de tokens.

Explore el glosario completo de IAExplora todas las guías gratuitas de IA

Términos relacionados

Codificación posicionalInformación agregada a las incrustaciones de tokens para que los transformadores puedan distinguir el orden de secuencia.CoartadaUn método de sesgo posicional que penaliza las puntuaciones de atención en función de la distancia simbólica, lo que ayuda a los modelos a extrapolar a contextos más largos.RAG-FusiónUn método de recuperación que genera múltiples variantes de consulta, recupera resultados para cada una y fusiona las clasificaciones.ANN (vecino más cercano aproximado)Algoritmos que encuentran vectores cercanos a una consulta sin una comparación exhaustiva, intercambiando exactitud por velocidad.RAG (Generación aumentada de recuperación)Un método que recupera conocimiento externo y lo alimenta a la generación en el momento de la inferencia.Aprendizaje reforzado a partir de la retroalimentación humana (RLHF)Un método de entrenamiento que utiliza señales de preferencia humana para dar forma al comportamiento del modelo.

Obtenga más información en nuestras guías gratuitas.

Audio Embeddings and Representation LearningSentence-BERT EmbeddingsX-Vector Speaker EmbeddingsHyDE Hypothetical Document Embeddings

Véase también

Multi-Head AttentionSliding Window AttentionFlash AttentionBPE (Byte Pair Encoding)QLoRASentencePieceDPO (Direct Preference Optimization)Tree of Thoughts