Technische GIDS

RAG-evaluatiestatistieken en RAGAS

RAG-evaluatie beoordeelt een door retrieval verbeterd generatiesysteem afzonderlijk op retrieval en op generatie, meestal met vier maatstaven: betrouwbaarheid, antwoordrelevantie, contextprecisie en contextherinnering.

Luister naar deze gidsAI-verteld · ~3 min

Op deze pagina3 minuten lezen
  1. Overzicht
  2. Diepe duik
  3. Implementatie in de echte wereld
  4. De toekomst van RAG-evaluatiestatistieken en RAGAS
  5. Het in de praktijk brengen
  6. Blijf verkennen
  7. Veelgestelde vragen

Overzicht

RAGAS is een open-sourceframework dat deze statistieken berekent, waarbij grotendeels een LLM als rechter wordt gebruikt. Afzonderlijke scores zijn van belang omdat ze laten zien of een slecht antwoord voortkomt uit het ophalen van de verkeerde passages of uit het misbruiken van de goede.

Diepe duik

Een RAG-systeem kan op twee punten falen: het ophalen kan de verkeerde passages ophalen, of het genereren kan de juiste passages negeren of vervormen. Eén algemene kwaliteitsscore verbergt wat er is gebeurd, dus splitst de RAG-evaluatie de pijplijn op in meetbare delen. RAGAS, een open source-framework dat in 2023 in een paper van Es en collega's werd geïntroduceerd, heeft een reeks kernstatistieken gepopulariseerd die beide helften bestrijken. Trouw vraagt ​​zich af of elke claim in het antwoord wordt ondersteund door de gevonden context; het signaleert hallucinaties, zelfs als het antwoord plausibel klinkt. Antwoordrelevantie vraagt ​​of het antwoord daadwerkelijk de vraag beantwoordt, waarbij ontwijkende of opgevulde antwoorden worden bestraft. Contextprecisie vraagt ​​of de opgehaalde brokken die er toe doen, bovenaan zijn gerangschikt in plaats van verborgen te zijn in de ruis. Bij Context Recall wordt gevraagd of de opgehaalde context alles bevat wat nodig is om een ​​referentieantwoord te produceren, dus is voor elke testvraag een grondwaarheidsantwoord vereist. De meeste van deze scores worden berekend door een LLM die als rechter optreedt, onderverdeeld in kleine stappen. Voor de getrouwheid haalt de rechter individuele verklaringen uit het antwoord en toetst deze aan de context; de score is de ondersteunde breuk. Voor antwoordrelevantie genereert RAGAS vragen waarop het antwoord zou reageren en vergelijkt deze met de oorspronkelijke vraag met behulp van inbedding. Soortgelijke ideeën verschijnen in andere tools, zoals de TruLens RAG-triade (contextrelevantie, gegrondheid en antwoordrelevantie) en DeepEval. Er zijn twee veel voorkomende misvattingen. Ten eerste betekent trouw niet dat het juist is: een antwoord kan een verouderd of verkeerd document getrouw herhalen. Ten tweede zijn de scores van de LLM-rechter geen grondwaarheid. Ze variëren afhankelijk van het jurymodel en de prompt, dus teams vergelijken ze met menselijke labels en vergelijken systemen onder identieke instellingen in plaats van een score van 0,85 als een absoluut cijfer te behandelen.

Implementatie in de echte wereld

De beleidsassistent van een bank scoort 0,95 op contextherinnering, maar 0,70 op betrouwbaarheid, wat aangeeft dat het ophalen van de gegevens prima gaat en dat het model niet-ondersteunde details toevoegt, zodat ze de prompt scherper maken in plaats van de index opnieuw op te bouwen.

Een ondersteuningsteam vergelijkt twee inbeddingsmodellen op dezelfde testset met 200 vragen en behoudt het model met een hogere contextherinnering en contextprecisie.

Een ziekenhuiskennistool voert een betrouwbaarheidsscore uit op een dagelijkse steekproef van echte vragen en markeert antwoorden met niet-ondersteunde claims voor menselijke beoordeling voordat het patroon zich verspreidt.

Een startup voegt een reranker toe nadat hij een hoge contextherinnering maar een lage contextprecisie heeft gezien, wat betekent dat de juiste stukjes zijn opgehaald, maar onder de irrelevante zijn gerangschikt.

De toekomst van RAG-evaluatiestatistieken en RAGAS

De RAG-evaluatie verschuift van occasionele offline rapporten naar continue controles, waarbij een steekproef van het productieverkeer wordt gescoord en regressies waarschuwingen activeren. Frameworks hebben statistieken toegevoegd voor multi-turn gesprekken, agenten en toolgebruik, en metrische definities veranderen tussen bibliotheekversies, dus het vastzetten van versies is van belang voor vergelijkbare resultaten. Het grootste openstaande probleem is de betrouwbaarheid van de rechter: LLM-juryleden kunnen vooroordelen vertonen, zoals de voorkeur geven aan langere antwoorden, en de overeenstemming met menselijke beoordelaars varieert per domein. Het kalibreren van rechters tegen kleine, door mensen gelabelde sets en het koppelen ervan aan deterministische retrieval-metrieken zal waarschijnlijk een goede praktijk blijven.

Het in de praktijk brengen

Waarom het ertoe doet

  • Kosten en budget. Architectuurbeslissingen bepalen jarenlang de prestaties en bedrijfskosten.
  • Duidelijkere beslissingen. Technisch onderwijs helpt teams bij het kiezen van de juiste stapel, niet alleen de nieuwste.
  • Kwaliteitscontrole. Betere technische keuzes verminderen het aantal betrouwbaarheidsincidenten in de productie.

Pas op voor

  • Het optimaliseren van één benchmark kan bredere systeemzwakheden verbergen.
  • Infrastructuur- en onderhoudskosten worden vaak onderschat.
  • De lacunes op het gebied van beveiliging en waarneembaarheid kunnen groter worden naarmate systemen complexer worden.

Volgende stappen

  1. Definieer latentie-, kwaliteits- en kostendoelen vóór implementatie.
  2. Benchmark onder realistische belasting- en gegevensomstandigheden.
  3. Instrumentbewaking op fouten, drift en gebruikersimpact.
  4. Bereid rollback- en incidentresponspaden voor voordat u gaat schalen.

Blijf verkennen

Gratis nieuwsbrief

Ontvang de dagelijkse AI-briefing

Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.

Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.

Test jezelf

Take the RAG Evaluation Metrics and RAGAS quiz

Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.

Quiz starten

Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie

Veelgestelde vragen

Wat zijn RAG-evaluatiestatistieken en RAGAS?

RAG-evaluatie beoordeelt een door retrieval verbeterd generatiesysteem afzonderlijk op retrieval en op generatie, meestal met vier maatstaven: betrouwbaarheid, antwoordrelevantie, contextprecisie en contextherinnering. RAGAS is een open-sourceframework dat deze statistieken berekent, waarbij grotendeels een LLM als rechter wordt gebruikt. Afzonderlijke scores zijn van belang omdat ze laten zien of een slecht antwoord voortkomt uit het ophalen van de verkeerde passages of uit het misbruiken van de goede.

Welke statistiek controleert of elke claim in het antwoord wordt ondersteund door de opgehaalde context?

Trouw meet de fractie van de antwoordclaims die wordt ondersteund door de context, die zich richt op hallucinaties.

Welke van deze statistieken vereist een referentie-antwoord op de grond van de waarheid voor elke testvraag?

Context recall controleert of de opgehaalde context bevat wat nodig is voor het referentieantwoord, er moet dus een referentie bestaan.

Wat meet contextprecisie?

Contextprecisie beloont door nuttige stukjes hoog op de ranglijst te plaatsen in plaats van ze tussen irrelevante stukjes te begraven.

Hoe schat RAGAS de relevantie van antwoorden in?

Als de vragen die voortkomen uit het antwoord lijken op de echte vraag, dan is het antwoord on-topic; inbedding meet die gelijkenis.

Een systeem vertoont een hoge contextherinnering maar een lage contextprecisie. Wat is de meest waarschijnlijke oplossing?

De juiste chunks worden opgehaald, maar slecht gerangschikt, wat een rankingprobleem is dat vaak wordt aangepakt door een reranker.