Taal AI-GIDS

Lange context versus RAG

Lange context betekent dat hele documenten rechtstreeks in het grote contextvenster van een model worden geplaatst, terwijl RAG voor elke vraag alleen de meest relevante passages ophaalt.

Luister naar deze gidsAI-verteld · ~3 min

Op deze pagina4 minuten lezen
  1. Overzicht
  2. Diepe duik
  3. Implementatie in de echte wereld
  4. De toekomst van lange context versus RAG
  5. Het in de praktijk brengen
  6. Blijf verkennen
  7. Veelgestelde vragen

Overzicht

Lange context is vaak eenvoudiger en beter wanneer de kennis in het venster past en vragen een overzicht van het hele document nodig hebben; RAG wint meestal op het gebied van de kosten per zoekopdracht, latentie, versheid, schaal en toegangscontrole. De meeste sterke systemen combineren de twee in plaats van er één te kiezen.

Diepe duik

Contextvensters groeiden van een paar duizend tokens in vroege chatmodellen tot honderdduizenden, en Google's Gemini 1.5 Pro, aangekondigd in 2024, bood een venster van een miljoen tokens. Dat riep een voor de hand liggende vraag op: als het model een hele handleiding kan lezen, waarom zou je dan überhaupt een ophaalpijplijn bouwen? Het antwoord hangt af van vier afwegingen. Kosten: providers rekenen per invoertoken, dus het verzenden van honderdduizenden tokens bij elke vraag kost veel meer dan het verzenden van een paar duizend relevante tokens, hoewel prompt caching de prijs van een herhaald voorvoegsel kan verlagen. Latentie: het model moet elk invoertoken verwerken voordat het antwoordt, dus de tijd tot het eerste token neemt toe met de lengte van de context. Nauwkeurigheid: lange context voorkomt fouten bij het ophalen, omdat er niets wordt uitgefilterd, en het behandelt vragen die het hele document nodig hebben, zoals het samenvatten van thema's of het vergelijken van hoofdstukken. Maar modellen gebruiken niet alle posities evenveel. Uit het onderzoek Lost in the Middle uit 2023 bleek dat de prestaties daalden wanneer relevante informatie te midden van lange invoer zat, en naald-in-een-hooiberg-tests meten alleen eenvoudige opzoekingen, en niet het redeneren over veel verspreide feiten. Versheid en schaal: RAG-indexen kunnen stapsgewijs worden bijgewerkt, bestrijken veel meer documenten dan welk venster dan ook, en ondersteunen toegangscontrole per gebruiker door te filteren wat wordt opgehaald. Een praktische regel: als de kennis comfortabel in het venster past, herhaaldelijk wordt bevraagd en vragen een breed begrip vereisen, is een lange context vaak eenvoudiger en beter. Als het corpus groot is, vaak verandert, permissies heeft, of goedkoop moet worden beantwoord met citaten, terughalen. De algemene misvatting is dat het een het ander vervangt. Veel sterke systemen combineren ze: genereus ophalen op documentniveau en vervolgens een lang venster gebruiken om hele documenten op te nemen in plaats van kleine fragmenten.

Implementatie in de echte wereld

Een advocaat laadt een fusieovereenkomst van 300 pagina's in een lang-contextmodel om te vragen hoe de schadevergoedingsvoorwaarden in verschillende secties op elkaar inwerken, een vraag die verspreid teruggevonden brokken slecht zouden beantwoorden.

Een klantenondersteuningsplatform met miljoenen hulpartikelen die dagelijks veranderen, maakt gebruik van RAG, omdat geen enkel contextvenster het corpus bevat en de index artikel voor artikel kan worden bijgewerkt.

Een bedrijfschatbot die werknemers met verschillende toestemmingsniveaus bedient, gebruikt ophaalmogelijkheden met toestemmingsfilters, zodat de prompt van elke gebruiker alleen documenten bevat die zij mogen zien.

Een onderzoeksteam verzamelt de tien meest relevante artikelen en geeft elk volledig artikel vervolgens door aan een lang contextvenster in plaats van aan kleine fragmenten, waarbij beide benaderingen worden gecombineerd.

De toekomst van lange context versus RAG

Grotere vensters en cachingkortingen verschuiven het break-evenpunt naar een lange context voor kleine en middelgrote bedrijven. Het is onwaarschijnlijk dat het ophalen zal verdwijnen, omdat veel organisaties veel meer tekst bevatten dan welk venster dan ook, hun gegevens voortdurend veranderen en ze machtigingen en citaten per gebruiker nodig hebben. De meest waarschijnlijke richting is blending: agenten die beslissen wanneer ze worden opgehaald, hele documenten lezen zodra ze zijn gevonden, en in de cache opslaan wat ze opnieuw gebruiken. Er wordt nog steeds onderzoek gedaan naar het betrouwbaar maken van modellen die middenposities gebruiken en naar goedkopere aandacht voor lange inputs. Omdat prijzen en modellen vaak veranderen, moeten teams hun eigen kosten- en nauwkeurigheidsvergelijkingen regelmatig opnieuw uitvoeren.

Het in de praktijk brengen

Waarom het ertoe doet

  • Snelheid en schaal. Taalworkflows kunnen sneller verlopen zonder dat dit ten koste gaat van de consistentie.
  • Toegang en bereik. Het breidt de toegang uit naar meerdere talen en communicatiestijlen.
  • Duidelijkere beslissingen. Teams kunnen meer tijd besteden aan beoordeling, terwijl automatisering de herhaling afhandelt.

Pas op voor

  • Gehallucineerde feiten kunnen stilletjes rapporten binnendringen, stromen ondersteunen of onderzoeksresultaten opleveren.
  • Gevoeligheid voor prompts kan inconsistente resultaten opleveren voor vergelijkbare verzoeken.
  • Gevoelige tekstgegevens kunnen openbaar worden gemaakt als de toegangscontroles zwak zijn.

Volgende stappen

  1. Definieer het uitvoerformaat, de toon en de kwaliteitsnormen vóór de implementatie.
  2. Grondreacties met vertrouwde bronnen wanneer nauwkeurigheid belangrijk is.
  3. Houd een menselijk controlepunt bij voor resultaten met een hoge inzet.
  4. Houd faalpatronen bij en train prompts of workflows regelmatig opnieuw.

Blijf verkennen

Gratis nieuwsbrief

Ontvang de dagelijkse AI-briefing

Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.

Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.

Test jezelf

Take the Long Context vs RAG quiz

Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.

Quiz starten

Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie

Veelgestelde vragen

Wat is lange context versus RAG?

Lange context betekent dat hele documenten rechtstreeks in het grote contextvenster van een model worden geplaatst, terwijl RAG voor elke vraag alleen de meest relevante passages ophaalt. Lange context is vaak eenvoudiger en beter wanneer de kennis in het venster past en vragen een overzicht van het hele document nodig hebben; RAG wint meestal op het gebied van de kosten per zoekopdracht, latentie, versheid, schaal en toegangscontrole. De meeste sterke systemen combineren de twee in plaats van er één te kiezen.

Waarom kost de lange-contextbenadering doorgaans meer per zoekopdracht dan RAG?

De kosten schalen met invoertokens, waardoor het elke keer verzenden van een heel corpus veel meer kost dan het verzenden van een paar relevante passages.

Wat heeft het Lost in the Middle-onderzoek uit 2023 gevonden?

Modellen gebruikten informatie aan het begin en einde van lange invoer betrouwbaarder dan informatie in het midden.

Wat is een belangrijke beperking van naald-in-een-hooiberg-tests?

Het vinden van één vaststaand feit is gemakkelijker dan het combineren van verschillende feiten die via een document zijn verspreid.

Welke situatie geeft het duidelijkst de voorkeur aan RAG boven een lange context?

RAG schaalt verder dan elk venster, wordt stapsgewijs bijgewerkt en kan resultaten op toestemming filteren.

Hoe moet de prompt worden gerangschikt bij gebruik van promptcaching met een lang corpus?

Caching gebruikt een identiek voorvoegsel, dus de onveranderlijke inhoud moet op de eerste plaats komen.