A continuaciónSiguiente guía
Documento principal y recuperación de pequeño a grande
Técnico
GUÍA Técnica
Recuperación contextual
La recuperación contextual es una técnica de RAG que antepone una breve explicación basada en documentos a cada fragmento antes de incrustarlo e indexarlo para la búsqueda de palabras clave, de modo que un fragmento aún tenga sentido cuando se lee por sí solo.
Escuche esta guíaNarrado por IA · ~3 min
En esta pagina4 minutos de lectura
Descripción general
Es importante porque los fragmentos a menudo pierden información clave cuando se separan de su documento, como a qué empresa, producto o período de tiempo se refieren, y esa pérdida hace que el recuperador pierda el pasaje correcto.
Buceo profundo
Standard RAG divide los documentos en fragmentos, incrusta cada fragmento y recupera los fragmentos más similares a una pregunta. El problema es que la división elimina el contexto. Un fragmento que dice "los ingresos de la empresa crecieron un 3%" no dice qué empresa o qué período, por lo que ni la búsqueda semántica ni la búsqueda de palabras clave pueden relacionarlo de manera confiable con una pregunta que los nombre. Anthropic describió la recuperación contextual en septiembre de 2024. Para cada fragmento, se le proporciona un modelo de lenguaje para el documento completo y el fragmento, y se le pide que escriba un breve contexto (normalmente entre 50 y 100 tokens) que sitúa el fragmento dentro del documento. Ese contexto se antepone al fragmento. Luego, el texto combinado se utiliza en dos índices: un índice de incrustación (incrustaciones contextuales) y un índice de palabras clave BM25 (BM25 contextual). En el momento de la consulta, los resultados de ambos se combinan y, opcionalmente, un reclasificador reordena a los mejores candidatos. En los experimentos informados por Anthropic en varios conjuntos de datos, las incorporaciones contextuales más el BM25 contextual redujeron la tasa de fallas de recuperación de los 20 principales en aproximadamente un 49 por ciento en comparación con las incorporaciones estándar, y agregar la reclasificación llevó la reducción a aproximadamente el 67 por ciento. Los resultados basados en sus propios datos pueden diferir, por lo que vale la pena medirlos. El costo es en el momento de la indexación: una llamada de modelo por fragmento, cada una de las cuales incluye el documento completo. El almacenamiento en caché rápido hace que esto sea mucho más económico, porque el documento se almacena en caché una vez y se reutiliza en todos sus fragmentos. Conceptos erróneos que se deben evitar: el contexto agregado se utiliza para la recuperación y usted puede elegir si desea mostrarlo al generador. No reemplaza una buena fragmentación y, para bases de conocimiento pequeñas que caben en la ventana de contexto del modelo, enviar todo directamente puede ser más simple que cualquier proceso de recuperación.
Implementación en el mundo real
Un fragmento de un informe trimestral sólo dice "Los ingresos crecieron un 3% con respecto al trimestre anterior"; La recuperación contextual antepone que proviene de la presentación del segundo trimestre de una empresa específica, por lo que una búsqueda que nombra esa empresa y el trimestre lo encuentra.
En un manual para empleados, un fragmento que dice "Esto se aplica después de 90 días" obtiene un prefijo que explica que proviene de la sección sobre elegibilidad para el trabajo remoto.
Un asistente de documentación de software agrega contexto y señala que un fragmento de configuración pertenece a la versión 3 de una API, lo que reduce la confusión con texto similar de la versión 2.
Una base de conocimientos de soporte antepone los fragmentos de solución de problemas con el modelo de producto que cubren, por lo que las preguntas sobre un modelo dejan de recuperar pasos para otro.
El futuro de la recuperación contextual
La recuperación contextual refleja una tendencia más amplia de gastar más cálculo en el momento de la indexación para hacer que el tiempo de consulta sea más confiable. A medida que las llamadas a modelos se vuelven más baratas y el almacenamiento en caché se vuelve estándar, es probable que agregar contexto a los fragmentos se convierta en un paso predeterminado en muchas canalizaciones de RAG. Las ventanas de contexto más largas reducen la necesidad de recuperación en colecciones pequeñas pero no en las grandes, por lo que técnicas como esta deberían seguir siendo relevantes para grandes bases de conocimiento. Espere más combinaciones con filtrado de metadatos, gráficos de conocimiento y recuperación de interacción tardía, y los equipos eligen basándose en el recuerdo medido en lugar de en la moda.
Poniéndolo en práctica
Por qué es importante
- Costo y presupuesto. Las decisiones de arquitectura impulsan el rendimiento y los costos operativos durante años.
- Decisiones más claras. La educación técnica ayuda a los equipos a elegir la pila adecuada, no sólo la más nueva.
- control de calidad. Mejores opciones de ingeniería reducen los incidentes de confiabilidad en la producción.
cuidado con
- La optimización de un punto de referencia puede ocultar debilidades más amplias del sistema.
- Los costos de infraestructura y mantenimiento a menudo se subestiman.
- Las brechas de seguridad y observabilidad pueden crecer a medida que los sistemas se vuelven más complejos.
Próximos pasos
- Defina objetivos de latencia, calidad y costos antes de la implementación.
- Comparación en condiciones realistas de carga y datos.
- Monitoreo de instrumentos para detectar errores, deriva e impacto para el usuario.
- Prepare rutas de reversión y respuesta a incidentes antes de escalar.
Sigue explorando
Boletín gratuito
Recibe el resumen diario de IA
Tres noticias verificadas sobre IA cada mañana de lunes a viernes, explicadas con claridad. Gratis para siempre y sin anuncios.
Un correo cada día laborable. Date de baja con un clic. Nunca vendemos ni compartimos tu dirección.
Ponte a prueba
Take the Contextual Retrieval quiz
Corrección inmediata en cada respuesta y un certificado para compartir, con un ID verificable, cuando apruebas un curso.
Apoya la educación gratuita sobre IA. AI Understanding es una organización sin fines de lucro 501(c)(3): sin anuncios ni muros de pago, nunca. Hacer una donación
Preguntas frecuentes
¿Qué es la recuperación contextual?
La recuperación contextual es una técnica de RAG que antepone una breve explicación basada en documentos a cada fragmento antes de incrustarlo e indexarlo para la búsqueda de palabras clave, de modo que un fragmento aún tenga sentido cuando se lee por sí solo. Es importante porque los fragmentos a menudo pierden información clave cuando se separan de su documento, como a qué empresa, producto o período de tiempo se refieren, y esa pérdida hace que el recuperador pierda el pasaje correcto.
¿Qué problema resuelve la recuperación contextual?
La división elimina el contexto circundante, por lo que es posible que un fragmento aislado no mencione la entidad o el período sobre el que se pregunta la pregunta.
¿Cómo se genera el contexto para cada fragmento?
El modelo recibe el documento completo y el fragmento y devuelve un breve contexto que coloca el fragmento dentro del documento.
¿Qué dos índices reciben el texto fragmentado contextualizado en el enfoque de Anthropic?
El método utiliza incrustaciones contextuales y BM25 contextual, luego combina sus resultados.
Según los experimentos informados por Anthropic, ¿aproximadamente cuánto redujeron las incrustaciones contextuales más el BM25 contextual entre los 20 principales errores de recuperación?
Anthropic informó una reducción de aproximadamente el 49 por ciento, que aumentó a aproximadamente el 67 por ciento con la reclasificación. Los resultados sobre otros datos pueden diferir.
¿Por qué el almacenamiento en caché rápido abarata la recuperación contextual?
La llamada de cada fragmento incluye el documento completo; El almacenamiento en caché de ese prefijo compartido evita pagar el precio completo repetidamente.
sigue aprendiendo
Guías relacionadas
Más guías seleccionadas para este tema.