VolgendeVolgende gids
Bovenliggend document en ophalen van klein tot groot
Technisch
Technische GIDS
Contextueel ophalen is een RAG-techniek die een korte, documentbewuste uitleg aan elk deel toevoegt voordat het wordt ingebed en geïndexeerd voor zoeken op trefwoorden, zodat een deel nog steeds zinvol is als het op zichzelf wordt gelezen.
Luister naar deze gidsAI-verteld · ~3 min
Het is belangrijk omdat stukjes vaak belangrijke informatie verliezen wanneer ze uit hun document worden gesplitst, zoals naar welk bedrijf, product of tijdsperiode ze verwijzen, en dat verlies zorgt ervoor dat de retriever de juiste passage mist.
Standaard-RAG splitst documenten in delen, sluit elk deel in en haalt de delen op die het meest op een vraag lijken. Het probleem is dat het splitsen van strips context. Een stukje met de tekst 'de omzet van het bedrijf groeide met 3%' zegt niet welk bedrijf of welke periode, dus noch semantisch zoeken, noch zoeken op trefwoorden kan het op betrouwbare wijze koppelen aan een vraag waarin ze worden genoemd. Anthropic beschreef contextueel ophalen in september 2024. Voor elk deel wordt een taalmodel het hele document en het deel gegeven, en gevraagd om een korte context te schrijven (doorgaans rond de 50 tot 100 tokens) die het deel in het document situeert. Die context wordt aan het stuk toegevoegd. De gecombineerde tekst wordt vervolgens gebruikt in twee indexen: een inbeddingsindex (contextuele inbedding) en een BM25 trefwoordindex (contextuele BM25). Op het moment van de zoekopdracht worden de resultaten van beide gecombineerd, en optioneel herschikt een herrangschikking de topkandidaten. In de gerapporteerde experimenten van Anthropic met verschillende datasets, verminderden contextuele inbedding plus contextuele BM25 het percentage mislukte ophaalacties in de top 20 met ongeveer 49 procent vergeleken met standaard inbedding, en het toevoegen van een nieuwe rangschikking bracht de reductie op ongeveer 67 procent. Resultaten op uw eigen gegevens kunnen verschillen, dus het is de moeite waard om te meten. De kosten gelden op het moment van indexering: één modelaanroep per deel, elk inclusief het volledige document. Snelle caching maakt dit veel goedkoper, omdat het document één keer in de cache wordt opgeslagen en in al zijn delen opnieuw wordt gebruikt. Misvattingen die u moet vermijden: de toegevoegde context wordt gebruikt voor het ophalen en u kunt kiezen of u deze aan de generator wilt laten zien. Het is geen vervanging voor een goede chunking, en voor kleine kennisbanken die in het contextvenster van het model passen, kan het rechtstreeks verzenden van alles eenvoudiger zijn dan welke ophaalpijplijn dan ook.
Een deel van een kwartaalrapport luidt alleen maar: "De omzet groeide met 3% ten opzichte van het voorgaande kwartaal"; Contextueel ophalen veronderstelt dat het afkomstig is uit de Q2-registratie van een specifiek bedrijf, dus een zoekopdracht met de naam van dat bedrijf en kwartaal vindt het.
In een werknemershandboek krijgt een stukje met de tekst 'Dit geldt na 90 dagen' een voorvoegsel, waarin wordt uitgelegd dat dit afkomstig is uit het gedeelte over geschiktheid voor werken op afstand.
Een softwaredocumentatieassistent voegt context toe en merkt op dat een configuratiedeel tot versie 3 van een API behoort, waardoor verwarring met soortgelijke tekst uit versie 2 wordt verminderd.
Een ondersteunende kennisbank geeft de probleemoplossingsblokken vooraf aan het productmodel dat ze bestrijken, zodat vragen over het ene model niet langer stappen voor een ander model hoeven op te halen.
Contextueel ophalen weerspiegelt een bredere trend waarbij meer rekenkracht wordt besteed aan het indexeren om de zoektijd betrouwbaarder te maken. Naarmate modelaanroepen goedkoper worden en caching standaard wordt, zal het toevoegen van context aan chunks waarschijnlijk een standaardstap worden in veel RAG-pijplijnen. Langere contextvensters verminderen de noodzaak om gegevens op te halen in kleine collecties, maar niet in grote collecties. Dit soort technieken moeten dus relevant blijven voor grote kennisbanken. Verwacht meer combinaties met metadatafiltering, kennisgrafieken en het ophalen van late interacties, waarbij teams kiezen op basis van gemeten herinnering in plaats van mode.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Contextueel ophalen is een RAG-techniek die een korte, documentbewuste uitleg aan elk deel toevoegt voordat het wordt ingebed en geïndexeerd voor zoeken op trefwoorden, zodat een deel nog steeds zinvol is als het op zichzelf wordt gelezen. Het is belangrijk omdat stukjes vaak belangrijke informatie verliezen wanneer ze uit hun document worden gesplitst, zoals naar welk bedrijf, product of tijdsperiode ze verwijzen, en dat verlies zorgt ervoor dat de retriever de juiste passage mist.
Door te splitsen wordt de omringende context verwijderd, zodat een geïsoleerd deel mogelijk niet de entiteit of periode vermeldt waarover een vraag wordt gesteld.
Het model krijgt het volledige document en het deel en retourneert een korte context die het deel in het document plaatst.
De methode maakt gebruik van contextuele inbedding en contextueel BM25, en combineert vervolgens de resultaten ervan.
Anthropic rapporteerde een reductie van 49 procent, oplopend tot ongeveer 67 procent met herschikking. Resultaten op andere gegevens kunnen verschillen.
De oproep van elk deel bevat het volledige document; Door dat gedeelde voorvoegsel te cachen, wordt voorkomen dat herhaaldelijk de volledige prijs moet worden betaald.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
Bovenliggend document en ophalen van klein tot groot
Technisch