VolgendeVolgende gids
RAG-evaluatiestatistieken en RAGAS
Technisch
Technische GIDS
Corrective RAG (CRAG) is een door retrieval-augmented generatie gegenereerde methode die controleert hoe relevant de opgehaalde documenten zijn voordat deze wordt beantwoord, en neemt corrigerende maatregelen wanneer het ophalen zwak lijkt, zoals het verfijnen van de documenten, het herschrijven van de zoekopdracht of het zoeken op internet.
Luister naar deze gidsAI-verteld · ~3 min
Het is van belang omdat standaard RAG alles wat het ophaalt doorgeeft aan het model, en irrelevante of misleidende documenten een belangrijke oorzaak zijn van verkeerde, zelfverzekerd geformuleerde antwoorden.
CRAG werd geïntroduceerd in de paper uit 2024 "Corrective Retrieval Augmented Generation" van Shi-Qi Yan en collega's. Het richt zich op een fundamentele zwakte van standaard RAG: de generator vertrouwt de retriever. Als de belangrijkste documenten off-topic, verouderd of slechts losjes gerelateerd zijn, antwoordt het model vaak toch. Het ontwerp van het artikel voegt een lichtgewicht retrieval evaluator toe, een verfijnd T5-groot model in het originele werk, dat elk opgehaald document beoordeelt op relevantie voor de vraag. Op basis van deze scores kiest het systeem een van de drie acties. Als ten minste één document duidelijk relevant wordt geacht, is de actie juist: de documenten ondergaan kennisverfijning, een stap van ontleden en vervolgens opnieuw samenstellen, waarbij ze in kleine stroken worden opgesplitst, elke strip wordt beoordeeld en alleen de bruikbare behouden blijven. Als alle documenten laag scoren, is de actie Onjuist: de opgehaalde documenten worden weggegooid, de vraag wordt herschreven in trefwoorden in zoekmachinestijl en in plaats daarvan worden zoekresultaten op internet gebruikt, wederom verfijnd. Als de beoordelaar het niet zeker weet, is de actie dubbelzinnig en combineert het systeem verfijnde interne kennis met webresultaten. De auteurs presenteerden CRAG als plug-and-play: het kan standaard RAG of andere methoden zoals Self-RAG omsluiten, en ze rapporteerden verbeteringen op verschillende benchmarks voor het genereren van korte en lange vormen. In de praktijk implementeren veel teams pijplijnen in CRAG-stijl zonder de oorspronkelijke verfijnde evaluator, waarbij ze een LLM-prompt gebruiken om de relevantie te beoordelen en een grafiek- of agentframework (LangGraph heeft een bekende CRAG-tutorial) om tussen stappen te routeren. Veel voorkomende misvattingen: CRAG verifieert niet of het uiteindelijke antwoord juist is; het beoordeelt ophaalinvoer. Zoeken op internet is niet automatisch beter, omdat het bronnen van lage kwaliteit kan opleveren. En beoordeling voegt latentie en kosten toe aan elke zoekopdracht.
Een helpdeskbot van het bedrijf haalt drie beleidsstukken op voor een vraag over ouderschapsverlof, de beoordelaar vindt geen enkele relevant, en het systeem herschrijft de zoekopdracht en zoekt opnieuw in plaats van te antwoorden vanuit het verkeerde beleid.
Een medisch informatieassistent beoordeelt de gevonden passages, bewaart alleen de zinnen waarin het medicijn wordt genoemd waar de gebruiker naar heeft gevraagd, en verwijdert de omringende tekst over andere medicijnen voordat hij deze genereert.
Een nieuws-Q&A-tool detecteert dat het interne archief geen verslag bevat van een zeer recente gebeurtenis en valt terug op een zoekopdracht op internet naar actuele artikelen.
Een juridisch onderzoeksprototype markeert het terugvinden als dubbelzinnig wanneer documenten slechts gedeeltelijk relevant zijn, en combineert verfijnde interne passages met nieuwe zoekresultaten alvorens te antwoorden.
Het CRAG-idee, de kwaliteit van het ophalen controleren en dienovereenkomstig routeren, is een gebruikelijk patroon geworden in agentische RAG-systemen, waarbij een model beslist of het opnieuw moet ophalen, ergens anders moet zoeken of moet antwoorden. Toekomstig werk zal zich waarschijnlijk concentreren op goedkopere en beter gekalibreerde relevantiebeoordelaars, en op het combineren van inputcontroles met outputcontroles, zoals het verifiëren of het antwoord wordt ondersteund door het bewaarde bewijsmateriaal. Het specifieke drie-actiesschema kan er in de loop van de tijd minder toe doen dan het bredere principe dat de opgehaalde context moet worden geëvalueerd in plaats van automatisch te worden vertrouwd.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Corrective RAG (CRAG) is een door retrieval-augmented generatie gegenereerde methode die controleert hoe relevant de opgehaalde documenten zijn voordat deze wordt beantwoord, en neemt corrigerende maatregelen wanneer het ophalen zwak lijkt, zoals het verfijnen van de documenten, het herschrijven van de zoekopdracht of het zoeken op internet. Het is van belang omdat standaard RAG alles wat het ophaalt doorgeeft aan het model, en irrelevante of misleidende documenten een belangrijke oorzaak zijn van verkeerde, zelfverzekerd geformuleerde antwoorden.
Standaard RAG geeft opgehaalde documenten door aan het model, ongeacht de relevantie, wat tot zelfverzekerde foute antwoorden kan leiden. CRAG evalueert eerst het ophalen.
De krant gebruikte een lichtgewicht, verfijnd T5-groot model om de documentrelevantie te beoordelen.
De actie Onjuist verwijdert de documenten, herschrijft de vraag in zoekopdrachten en vertrouwt op verfijnde webresultaten.
Kennisverfijning verdeelt documenten in kleine stroken, scoort ze en stelt alleen de bruikbare delen opnieuw samen voor de generator.
De Ambigue-actie combineert beide bronnen om zich in te dekken tegen onzekerheid in het oordeel van de beoordelaar.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
RAG-evaluatiestatistieken en RAGAS
Technisch