Technický PRŮVODCE

RAG Evaluation Metrics a RAGAS

Hodnocení RAG hodnotí systém generování s doplněním z rešerše (retrieval-augmented generation) samostatně podle rešerše a podle generování, nejčastěji pomocí čtyř metrik: věrnost (faithfulness), relevantnost odpovědi, přesnost kontextu a pokrytí kontextu (context recall).

Poslechněte si tento návodAI-vyprávěný · ~3 min

Na této stránce3 min čtení
  1. Přehled
  2. Hluboký ponor
  3. Real-World Implementace
  4. Budoucnost metrik hodnocení RAG a RAGAS
  5. Uvedení do praxe
  6. Pokračujte v objevování
  7. Často kladené otázky

Přehled

RAGAS je open-source framework, který tyto metriky počítá, přičemž jako soudce využívá převážně LLM. Samostatná skóre jsou důležitá, protože ukazují, zda špatná odpověď vznikla kvůli načtení nesprávných úryvků nebo kvůli nesprávnému využití správných.

Hluboký ponor

A RAG system can fail in two places: retrieval can fetch the wrong passages, or generation can ignore or distort the right ones. A single overall quality score hides which happened, so RAG evaluation splits the pipeline into measurable parts. RAGAS, an open-source framework introduced in a 2023 paper by Es and colleagues, popularized a set of core metrics that cover both halves. Faithfulness asks whether every claim in the answer is supported by the retrieved context; it catches hallucination even when the answer sounds plausible. Answer relevance asks whether the answer actually addresses the question, penalizing evasive or padded replies. Context precision asks whether the retrieved chunks that matter are ranked near the top rather than buried among noise. Context recall asks whether the retrieved context contains everything needed to produce a reference answer, so it requires a ground-truth answer for each test question. Most of these scores are computed by an LLM acting as a judge, broken into small steps. For faithfulness, the judge extracts individual statements from the answer and checks each against the context; the score is the fraction supported. For answer relevance, RAGAS generates questions that the answer would respond to and compares them with the original question using embeddings. Similar ideas appear in other tools, such as the TruLens RAG triad (context relevance, groundedness and answer relevance) and DeepEval. Two misconceptions are common. First, faithful does not mean correct: an answer can faithfully repeat an outdated or wrong document. Second, LLM-judge scores are not ground truth. They vary with the judge model and prompt, so teams spot-check them against human labels and compare systems under identical settings rather than treating a score like 0.85 as an absolute grade.

Real-World Implementace

Asistent pro bankovní politiku dosahuje skóre 0,95 v pokrytí kontextu, ale pouze 0,70 ve věrnosti, což týmu říká, že rešerše funguje správně, ale model přidává nepodložené detaily, takže místo přestavby indexu zpřísní prompt.

Tým podpory porovnává dva modely embeddingů na stejné testovací sadě 200 otázek a ponechá ten s vyšším pokrytím kontextu a přesností kontextu.

Nástroj pro znalosti nemocnice provádí hodnocení věrnosti na denním vzorku reálných otázek a označuje odpovědi s nepodloženými tvrzeními pro lidskou revizi, než se tento vzorec rozšíří.

Startup přidá reranker poté, co zjistí vysoké pokrytí kontextu, ale nízkou přesnost kontextu, což znamená, že správné chunky byly načteny, ale byly zařazeny pod irelevantními.

Budoucnost metrik hodnocení RAG a RAGAS

Hodnocení RAG se posouvá od občasných offline zpráv k neustálým kontrolám, kde se vzorek produkčního provozu hodnotí a regrese spouštějí upozornění. Frameworky přidávají metriky pro vícekolové konverzace, agenty a použití nástrojů a definice metrik se liší mezi verzemi knihoven, takže zamknutí verzí je důležité pro srovnatelné výsledky. Největší otevřenou otázkou je spolehlivost soudce: LLM soudci mohou projevovat předsudky, jako je preferování delších odpovědí, a shoda s lidskými recenzenty se liší podle oboru. Kalibrace soudců na malých souborech označených lidmi a jejich kombinace s deterministickými metrikami rešerše bude pravděpodobně nadále dobrým postupem.

Uvedení do praxe

Proč na tom záleží

  • Cena a rozpočet. Rozhodnutí o architektuře zvyšují výkon a provozní náklady po mnoho let.
  • Jasnější rozhodnutí. Technické vzdělání pomáhá týmům vybrat ten správný stack, nejen ten nejnovější.
  • Kontrola kvality. Lepší konstrukční volby snižují výskyt problémů se spolehlivostí ve výrobě.

Pozor na

  • Optimalizace jednoho benchmarku může skrýt širší systémové slabiny.
  • Náklady na infrastrukturu a údržbu jsou často podceňovány.
  • Mezery v zabezpečení a pozorovatelnosti se mohou zvětšovat, jak se systémy stávají složitějšími.

Další kroky

  1. Před implementací definujte cíle latence, kvality a nákladů.
  2. Benchmark za realistických podmínek zatížení a dat.
  3. Monitorování chyb, posunu a dopadu na uživatele.
  4. Před škálováním připravte cesty vrácení zpět a reakce na incidenty.

Pokračujte v objevování

Newsletter zdarma

Získejte denní přehled o AI

Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.

Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.

Otestujte se

Vyplňte kvíz o metrikách hodnocení RAG a RAGAS

Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.

Spustit kvíz

Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte

Často kladené otázky

Co jsou metriky hodnocení RAG a RAGAS?

Hodnocení RAG hodnotí systém generování s doplněním z rešerše (retrieval-augmented generation) samostatně podle rešerše a podle generování, nejčastěji pomocí čtyř metrik: věrnost (faithfulness), relevantnost odpovědi, přesnost kontextu a pokrytí kontextu (context recall). RAGAS je open-source framework, který tyto metriky počítá, přičemž jako soudce využívá převážně LLM. Samostatná skóre jsou důležitá, protože ukazují, zda špatná odpověď vznikla kvůli načtení nesprávných úryvků nebo kvůli nesprávnému využití správných.

Která metrika kontroluje, zda je každé tvrzení v odpovědi podloženo načteným kontextem?

Věrnost měří podíl tvrzení v odpovědi podložených kontextem, což cílí na halucinace.

Která z těchto metrik vyžaduje referenční odpověď pro každou testovací otázku?

Pokrytí kontextu kontroluje, zda načtený kontext obsahuje to, co je potřeba pro referenční odpověď, takže referenční odpověď musí existovat.

Co měří přesnost kontextu?

Přesnost kontextu odměňuje umístění užitečných chunků vysoko v řazení, místo aby je zahrabala mezi irelevantními.

Jak RAGAS odhaduje relevantnost odpovědi?

If questions generated from the answer resemble the real question, the answer is on topic; embeddings measure that similarity.

A system shows high context recall but low context precision. What is the most likely fix?

The right chunks are being retrieved but ranked poorly, which is a ranking problem a reranker often addresses.