A continuaciónSiguiente guía
Modelado de contexto largo
Idioma IA
GUÍA de IA en idiomas
Contexto largo vs RAG
El contexto largo significa colocar documentos completos directamente en la ventana de contexto grande de un modelo, mientras que RAG recupera solo los pasajes más relevantes para cada pregunta.
Escuche esta guíaNarrado por IA · ~3 min
En esta pagina4 minutos de lectura
Descripción general
El contexto largo suele ser más simple y mejor cuando el conocimiento se ajusta a la ventana y las preguntas necesitan una vista de todo el documento; RAG generalmente gana en costo por consulta, latencia, actualización, escala y control de acceso. La mayoría de los sistemas fuertes combinan los dos en lugar de elegir uno.
Buceo profundo
Las ventanas de contexto crecieron de unos pocos miles de tokens en los primeros modelos de chat a cientos de miles, y Gemini 1.5 Pro de Google, anunciado en 2024, ofrecía una ventana de un millón de tokens. Eso planteó una pregunta obvia: si el modelo puede leer un manual completo, ¿por qué construir un canal de recuperación? La respuesta depende de cuatro compensaciones. Costo: los proveedores cobran por token de entrada, por lo que enviar cientos de miles de tokens con cada pregunta cuesta mucho más que enviar unos pocos miles de tokens relevantes, aunque el almacenamiento en caché rápido puede reducir el precio de un prefijo repetido. Latencia: el modelo debe procesar cada token de entrada antes de responder, por lo que el tiempo hasta el primer token aumenta con la longitud del contexto. Precisión: el contexto largo evita errores de recuperación, ya que no se filtra nada, y maneja preguntas que necesitan el documento completo, como resumir temas o comparar capítulos. Pero los modelos no utilizan todas las posiciones por igual. El estudio de 2023 Lost in the Middle encontró que el rendimiento caía cuando la información relevante se encontraba en medio de entradas largas, y las pruebas de la aguja en un pajar miden solo una búsqueda simple, no el razonamiento sobre muchos hechos dispersos. Actualidad y escala: los índices RAG se pueden actualizar de forma incremental, cubrir muchos más documentos que cualquier ventana y admitir el control de acceso por usuario filtrando lo que se recupera. Una regla práctica: si el conocimiento cabe cómodamente en la ventana, se consulta repetidamente y las preguntas necesitan una comprensión amplia, el contexto extenso suele ser más simple y mejor. Si el corpus es grande, cambia con frecuencia, tiene permisos o debe responderse de forma económica con citas, recupérelo. El error común es creer que uno reemplaza al otro. Muchos sistemas potentes los combinan: recuperan generosamente a nivel de documento y luego utilizan una ventana larga para incluir documentos completos en lugar de pequeños fragmentos.
Implementación en el mundo real
Un abogado carga un acuerdo de fusión de 300 páginas en un modelo de contexto largo para preguntar cómo interactúan los términos de indemnización entre secciones, una pregunta que fragmentos recuperados dispersos responderían mal.
Una plataforma de atención al cliente con millones de artículos de ayuda que cambian a diario utiliza RAG, porque ninguna ventana de contexto contiene el corpus y el índice se puede actualizar artículo por artículo.
Un chatbot de una empresa que atiende a empleados con diferentes niveles de autorización utiliza la recuperación con filtros de permisos, por lo que el mensaje de cada usuario solo contiene documentos que pueden ver.
Un equipo de investigación recupera los diez artículos más relevantes y luego pasa cada artículo completo a una ventana de contexto larga en lugar de pequeños fragmentos, combinando ambos enfoques.
El futuro del contexto largo frente al RAG
Ventanas más grandes y descuentos por almacenamiento en caché mueven el punto de equilibrio hacia un contexto largo para corporaciones pequeñas y medianas. Es poco probable que la recuperación desaparezca, porque muchas organizaciones contienen mucho más texto que cualquier ventana, sus datos cambian constantemente y necesitan permisos y citas por usuario. La dirección más probable es la combinación: agentes que deciden cuándo recuperarlos, leen documentos completos una vez encontrados y almacenan en caché lo que reutilizan. Continúan las investigaciones para hacer que los modelos utilicen posiciones medias de manera confiable y para prestar una atención más barata a las entradas largas. Debido a que los precios y los modelos cambian con frecuencia, los equipos deben volver a realizar periódicamente sus propias comparaciones de costos y precisión.
Poniéndolo en práctica
Por qué es importante
- Velocidad y escala. Los flujos de trabajo lingüísticos pueden avanzar más rápido sin sacrificar la coherencia.
- Acceso y alcance. Amplía el acceso a través de idiomas y estilos de comunicación.
- Decisiones más claras. Los equipos pueden dedicar más tiempo a juzgar mientras la automatización se encarga de la repetición.
cuidado con
- Los hechos alucinados pueden aparecer silenciosamente en informes, flujos de apoyo o resultados de investigaciones.
- La sensibilidad rápida puede crear resultados inconsistentes en solicitudes similares.
- Los datos de texto confidenciales pueden quedar expuestos si los controles de acceso son débiles.
Próximos pasos
- Defina el formato de salida, el tono y los estándares de calidad antes del lanzamiento.
- Respuestas terrestres con fuentes confiables siempre que la precisión sea importante.
- Mantenga un punto de control de revisión humana para los resultados de alto riesgo.
- Realice un seguimiento de los patrones de error y vuelva a capacitar las indicaciones o los flujos de trabajo con regularidad.
Sigue explorando
Boletín gratuito
Recibe el resumen diario de IA
Tres noticias verificadas sobre IA cada mañana de lunes a viernes, explicadas con claridad. Gratis para siempre y sin anuncios.
Un correo cada día laborable. Date de baja con un clic. Nunca vendemos ni compartimos tu dirección.
Ponte a prueba
Realice el cuestionario de contexto largo frente a RAG
Corrección inmediata en cada respuesta y un certificado para compartir, con un ID verificable, cuando apruebas un curso.
Apoya la educación gratuita sobre IA. AI Understanding es una organización sin fines de lucro 501(c)(3): sin anuncios ni muros de pago, nunca. Hacer una donación
Preguntas frecuentes
¿Qué es el contexto largo frente a RAG?
El contexto largo significa colocar documentos completos directamente en la ventana de contexto grande de un modelo, mientras que RAG recupera solo los pasajes más relevantes para cada pregunta. El contexto largo suele ser más simple y mejor cuando el conocimiento se ajusta a la ventana y las preguntas necesitan una vista de todo el documento; RAG generalmente gana en costo por consulta, latencia, actualización, escala y control de acceso. La mayoría de los sistemas fuertes combinan los dos en lugar de elegir uno.
¿Por qué el enfoque de contexto largo suele costar más por consulta que RAG?
El costo aumenta con los tokens de entrada, por lo que enviar un corpus completo cada vez cuesta mucho más que enviar algunos pasajes relevantes.
¿Qué encontró el estudio 2023 Lost in the Middle?
Los modelos utilizaron información al inicio y al final de entradas largas de manera más confiable que la información en el medio.
¿Cuál es una limitación clave de las pruebas de la aguja en un pajar?
Encontrar un hecho plantado es más fácil que combinar varios hechos repartidos en un documento.
¿Qué situación favorece más claramente al RAG que al contexto largo?
RAG escala más allá de cualquier ventana, se actualiza de forma incremental y puede filtrar los resultados mediante permiso.
Cuando se utiliza el almacenamiento en caché de mensajes con un corpus largo, ¿cómo se debe organizar el mensaje?
El almacenamiento en caché reutiliza un prefijo idéntico, por lo que el contenido que no cambia debe ser lo primero.
sigue aprendiendo
Guías relacionadas
Más guías seleccionadas para este tema.