Technische GIDS

Contextueel ophalen

Contextueel ophalen is een RAG-techniek die een korte, documentbewuste uitleg aan elk deel toevoegt voordat het wordt ingebed en geïndexeerd voor zoeken op trefwoorden, zodat een deel nog steeds zinvol is als het op zichzelf wordt gelezen.

Luister naar deze gidsAI-verteld · ~3 min

Op deze pagina4 minuten lezen
  1. Overzicht
  2. Diepe duik
  3. Implementatie in de echte wereld
  4. De toekomst van contextueel ophalen
  5. Het in de praktijk brengen
  6. Blijf verkennen
  7. Veelgestelde vragen

Overzicht

Het is belangrijk omdat stukjes vaak belangrijke informatie verliezen wanneer ze uit hun document worden gesplitst, zoals naar welk bedrijf, product of tijdsperiode ze verwijzen, en dat verlies zorgt ervoor dat de retriever de juiste passage mist.

Diepe duik

Standaard-RAG splitst documenten in delen, sluit elk deel in en haalt de delen op die het meest op een vraag lijken. Het probleem is dat het splitsen van strips context. Een stukje met de tekst 'de omzet van het bedrijf groeide met 3%' zegt niet welk bedrijf of welke periode, dus noch semantisch zoeken, noch zoeken op trefwoorden kan het op betrouwbare wijze koppelen aan een vraag waarin ze worden genoemd. Anthropic beschreef contextueel ophalen in september 2024. Voor elk deel wordt een taalmodel het hele document en het deel gegeven, en gevraagd om een ​​korte context te schrijven (doorgaans rond de 50 tot 100 tokens) die het deel in het document situeert. Die context wordt aan het stuk toegevoegd. De gecombineerde tekst wordt vervolgens gebruikt in twee indexen: een inbeddingsindex (contextuele inbedding) en een BM25 trefwoordindex (contextuele BM25). Op het moment van de zoekopdracht worden de resultaten van beide gecombineerd, en optioneel herschikt een herrangschikking de topkandidaten. In de gerapporteerde experimenten van Anthropic met verschillende datasets, verminderden contextuele inbedding plus contextuele BM25 het percentage mislukte ophaalacties in de top 20 met ongeveer 49 procent vergeleken met standaard inbedding, en het toevoegen van een nieuwe rangschikking bracht de reductie op ongeveer 67 procent. Resultaten op uw eigen gegevens kunnen verschillen, dus het is de moeite waard om te meten. De kosten gelden op het moment van indexering: één modelaanroep per deel, elk inclusief het volledige document. Snelle caching maakt dit veel goedkoper, omdat het document één keer in de cache wordt opgeslagen en in al zijn delen opnieuw wordt gebruikt. Misvattingen die u moet vermijden: de toegevoegde context wordt gebruikt voor het ophalen en u kunt kiezen of u deze aan de generator wilt laten zien. Het is geen vervanging voor een goede chunking, en voor kleine kennisbanken die in het contextvenster van het model passen, kan het rechtstreeks verzenden van alles eenvoudiger zijn dan welke ophaalpijplijn dan ook.

Implementatie in de echte wereld

Een deel van een kwartaalrapport luidt alleen maar: "De omzet groeide met 3% ten opzichte van het voorgaande kwartaal"; Contextueel ophalen veronderstelt dat het afkomstig is uit de Q2-registratie van een specifiek bedrijf, dus een zoekopdracht met de naam van dat bedrijf en kwartaal vindt het.

In een werknemershandboek krijgt een stukje met de tekst 'Dit geldt na 90 dagen' een voorvoegsel, waarin wordt uitgelegd dat dit afkomstig is uit het gedeelte over geschiktheid voor werken op afstand.

Een softwaredocumentatieassistent voegt context toe en merkt op dat een configuratiedeel tot versie 3 van een API behoort, waardoor verwarring met soortgelijke tekst uit versie 2 wordt verminderd.

Een ondersteunende kennisbank geeft de probleemoplossingsblokken vooraf aan het productmodel dat ze bestrijken, zodat vragen over het ene model niet langer stappen voor een ander model hoeven op te halen.

De toekomst van contextueel ophalen

Contextueel ophalen weerspiegelt een bredere trend waarbij meer rekenkracht wordt besteed aan het indexeren om de zoektijd betrouwbaarder te maken. Naarmate modelaanroepen goedkoper worden en caching standaard wordt, zal het toevoegen van context aan chunks waarschijnlijk een standaardstap worden in veel RAG-pijplijnen. Langere contextvensters verminderen de noodzaak om gegevens op te halen in kleine collecties, maar niet in grote collecties. Dit soort technieken moeten dus relevant blijven voor grote kennisbanken. Verwacht meer combinaties met metadatafiltering, kennisgrafieken en het ophalen van late interacties, waarbij teams kiezen op basis van gemeten herinnering in plaats van mode.

Het in de praktijk brengen

Waarom het ertoe doet

  • Kosten en budget. Architectuurbeslissingen bepalen jarenlang de prestaties en bedrijfskosten.
  • Duidelijkere beslissingen. Technisch onderwijs helpt teams bij het kiezen van de juiste stapel, niet alleen de nieuwste.
  • Kwaliteitscontrole. Betere technische keuzes verminderen het aantal betrouwbaarheidsincidenten in de productie.

Pas op voor

  • Het optimaliseren van één benchmark kan bredere systeemzwakheden verbergen.
  • Infrastructuur- en onderhoudskosten worden vaak onderschat.
  • De lacunes op het gebied van beveiliging en waarneembaarheid kunnen groter worden naarmate systemen complexer worden.

Volgende stappen

  1. Definieer latentie-, kwaliteits- en kostendoelen vóór implementatie.
  2. Benchmark onder realistische belasting- en gegevensomstandigheden.
  3. Instrumentbewaking op fouten, drift en gebruikersimpact.
  4. Bereid rollback- en incidentresponspaden voor voordat u gaat schalen.

Blijf verkennen

Gratis nieuwsbrief

Ontvang de dagelijkse AI-briefing

Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.

Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.

Test jezelf

Take the Contextual Retrieval quiz

Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.

Quiz starten

Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie

Veelgestelde vragen

Wat is contextueel ophalen?

Contextueel ophalen is een RAG-techniek die een korte, documentbewuste uitleg aan elk deel toevoegt voordat het wordt ingebed en geïndexeerd voor zoeken op trefwoorden, zodat een deel nog steeds zinvol is als het op zichzelf wordt gelezen. Het is belangrijk omdat stukjes vaak belangrijke informatie verliezen wanneer ze uit hun document worden gesplitst, zoals naar welk bedrijf, product of tijdsperiode ze verwijzen, en dat verlies zorgt ervoor dat de retriever de juiste passage mist.

Welk probleem lost contextueel ophalen op?

Door te splitsen wordt de omringende context verwijderd, zodat een geïsoleerd deel mogelijk niet de entiteit of periode vermeldt waarover een vraag wordt gesteld.

Hoe wordt de context voor elk deel gegenereerd?

Het model krijgt het volledige document en het deel en retourneert een korte context die het deel in het document plaatst.

Welke twee indexen ontvangen de gecontextualiseerde stuktekst in de aanpak van Anthropic?

De methode maakt gebruik van contextuele inbedding en contextueel BM25, en combineert vervolgens de resultaten ervan.

In hoeverre hebben contextuele inbedding plus contextuele BM25, volgens de gerapporteerde experimenten van Anthropic, het aantal mislukte ophaalacties in de top 20 ongeveer verminderd?

Anthropic rapporteerde een reductie van 49 procent, oplopend tot ongeveer 67 procent met herschikking. Resultaten op andere gegevens kunnen verschillen.

Waarom maakt prompt caching contextueel ophalen goedkoper?

De oproep van elk deel bevat het volledige document; Door dat gedeelde voorvoegsel te cachen, wordt voorkomen dat herhaaldelijk de volledige prijs moet worden betaald.