Technische GIDS

Corrigerende RAG (CRAG)

Corrective RAG (CRAG) is een door retrieval-augmented generatie gegenereerde methode die controleert hoe relevant de opgehaalde documenten zijn voordat deze wordt beantwoord, en neemt corrigerende maatregelen wanneer het ophalen zwak lijkt, zoals het verfijnen van de documenten, het herschrijven van de zoekopdracht of het zoeken op internet.

Luister naar deze gidsAI-verteld · ~3 min

Op deze pagina3 minuten lezen
  1. Overzicht
  2. Diepe duik
  3. Implementatie in de echte wereld
  4. De toekomst van corrigerende RAG (CRAG)
  5. Het in de praktijk brengen
  6. Blijf verkennen
  7. Veelgestelde vragen

Overzicht

Het is van belang omdat standaard RAG alles wat het ophaalt doorgeeft aan het model, en irrelevante of misleidende documenten een belangrijke oorzaak zijn van verkeerde, zelfverzekerd geformuleerde antwoorden.

Diepe duik

CRAG werd geïntroduceerd in de paper uit 2024 "Corrective Retrieval Augmented Generation" van Shi-Qi Yan en collega's. Het richt zich op een fundamentele zwakte van standaard RAG: de generator vertrouwt de retriever. Als de belangrijkste documenten off-topic, verouderd of slechts losjes gerelateerd zijn, antwoordt het model vaak toch. Het ontwerp van het artikel voegt een lichtgewicht retrieval evaluator toe, een verfijnd T5-groot model in het originele werk, dat elk opgehaald document beoordeelt op relevantie voor de vraag. Op basis van deze scores kiest het systeem een ​​van de drie acties. Als ten minste één document duidelijk relevant wordt geacht, is de actie juist: de documenten ondergaan kennisverfijning, een stap van ontleden en vervolgens opnieuw samenstellen, waarbij ze in kleine stroken worden opgesplitst, elke strip wordt beoordeeld en alleen de bruikbare behouden blijven. Als alle documenten laag scoren, is de actie Onjuist: de opgehaalde documenten worden weggegooid, de vraag wordt herschreven in trefwoorden in zoekmachinestijl en in plaats daarvan worden zoekresultaten op internet gebruikt, wederom verfijnd. Als de beoordelaar het niet zeker weet, is de actie dubbelzinnig en combineert het systeem verfijnde interne kennis met webresultaten. De auteurs presenteerden CRAG als plug-and-play: het kan standaard RAG of andere methoden zoals Self-RAG omsluiten, en ze rapporteerden verbeteringen op verschillende benchmarks voor het genereren van korte en lange vormen. In de praktijk implementeren veel teams pijplijnen in CRAG-stijl zonder de oorspronkelijke verfijnde evaluator, waarbij ze een LLM-prompt gebruiken om de relevantie te beoordelen en een grafiek- of agentframework (LangGraph heeft een bekende CRAG-tutorial) om tussen stappen te routeren. Veel voorkomende misvattingen: CRAG verifieert niet of het uiteindelijke antwoord juist is; het beoordeelt ophaalinvoer. Zoeken op internet is niet automatisch beter, omdat het bronnen van lage kwaliteit kan opleveren. En beoordeling voegt latentie en kosten toe aan elke zoekopdracht.

Implementatie in de echte wereld

Een helpdeskbot van het bedrijf haalt drie beleidsstukken op voor een vraag over ouderschapsverlof, de beoordelaar vindt geen enkele relevant, en het systeem herschrijft de zoekopdracht en zoekt opnieuw in plaats van te antwoorden vanuit het verkeerde beleid.

Een medisch informatieassistent beoordeelt de gevonden passages, bewaart alleen de zinnen waarin het medicijn wordt genoemd waar de gebruiker naar heeft gevraagd, en verwijdert de omringende tekst over andere medicijnen voordat hij deze genereert.

Een nieuws-Q&A-tool detecteert dat het interne archief geen verslag bevat van een zeer recente gebeurtenis en valt terug op een zoekopdracht op internet naar actuele artikelen.

Een juridisch onderzoeksprototype markeert het terugvinden als dubbelzinnig wanneer documenten slechts gedeeltelijk relevant zijn, en combineert verfijnde interne passages met nieuwe zoekresultaten alvorens te antwoorden.

De toekomst van corrigerende RAG (CRAG)

Het CRAG-idee, de kwaliteit van het ophalen controleren en dienovereenkomstig routeren, is een gebruikelijk patroon geworden in agentische RAG-systemen, waarbij een model beslist of het opnieuw moet ophalen, ergens anders moet zoeken of moet antwoorden. Toekomstig werk zal zich waarschijnlijk concentreren op goedkopere en beter gekalibreerde relevantiebeoordelaars, en op het combineren van inputcontroles met outputcontroles, zoals het verifiëren of het antwoord wordt ondersteund door het bewaarde bewijsmateriaal. Het specifieke drie-actiesschema kan er in de loop van de tijd minder toe doen dan het bredere principe dat de opgehaalde context moet worden geëvalueerd in plaats van automatisch te worden vertrouwd.

Het in de praktijk brengen

Waarom het ertoe doet

  • Kosten en budget. Architectuurbeslissingen bepalen jarenlang de prestaties en bedrijfskosten.
  • Duidelijkere beslissingen. Technisch onderwijs helpt teams bij het kiezen van de juiste stapel, niet alleen de nieuwste.
  • Kwaliteitscontrole. Betere technische keuzes verminderen het aantal betrouwbaarheidsincidenten in de productie.

Pas op voor

  • Het optimaliseren van één benchmark kan bredere systeemzwakheden verbergen.
  • Infrastructuur- en onderhoudskosten worden vaak onderschat.
  • De lacunes op het gebied van beveiliging en waarneembaarheid kunnen groter worden naarmate systemen complexer worden.

Volgende stappen

  1. Definieer latentie-, kwaliteits- en kostendoelen vóór implementatie.
  2. Benchmark onder realistische belasting- en gegevensomstandigheden.
  3. Instrumentbewaking op fouten, drift en gebruikersimpact.
  4. Bereid rollback- en incidentresponspaden voor voordat u gaat schalen.

Blijf verkennen

Gratis nieuwsbrief

Ontvang de dagelijkse AI-briefing

Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.

Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.

Test jezelf

Doe de Corrigerende RAG (CRAG) quiz

Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.

Quiz starten

Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie

Veelgestelde vragen

Wat is corrigerende RAG (CRAG)?

Corrective RAG (CRAG) is een door retrieval-augmented generatie gegenereerde methode die controleert hoe relevant de opgehaalde documenten zijn voordat deze wordt beantwoord, en neemt corrigerende maatregelen wanneer het ophalen zwak lijkt, zoals het verfijnen van de documenten, het herschrijven van de zoekopdracht of het zoeken op internet. Het is van belang omdat standaard RAG alles wat het ophaalt doorgeeft aan het model, en irrelevante of misleidende documenten een belangrijke oorzaak zijn van verkeerde, zelfverzekerd geformuleerde antwoorden.

Welke kernzwakte van standaard RAG pakt CRAG aan?

Standaard RAG geeft opgehaalde documenten door aan het model, ongeacht de relevantie, wat tot zelfverzekerde foute antwoorden kan leiden. CRAG evalueert eerst het ophalen.

Welk soort model fungeerde in het originele CRAG-artikel als de retrieval-evaluator?

De krant gebruikte een lichtgewicht, verfijnd T5-groot model om de documentrelevantie te beoordelen.

Wat doet CRAG als alle opgehaalde documenten laag scoren?

De actie Onjuist verwijdert de documenten, herschrijft de vraag in zoekopdrachten en vertrouwt op verfijnde webresultaten.

Wat is het doel van de stap van ontleden en vervolgens opnieuw samenstellen?

Kennisverfijning verdeelt documenten in kleine stroken, scoort ze en stelt alleen de bruikbare delen opnieuw samen voor de generator.

Welke actie onderneemt CRAG als de evaluator twijfelt over de relevantie?

De Ambigue-actie combineert beide bronnen om zich in te dekken tegen onzekerheid in het oordeel van de beoordelaar.