Műszaki ÚTMUTATÓ

RAG értékelési metrikák és RAGAS

A RAG értékelése a visszakereséssel kiegészített generációs rendszert külön-külön pontozza a visszakeresés és a generálás során, leggyakrabban négy mérőszámmal: hűség, válasz relevancia, kontextus pontosság és kontextus felidézése.

Hallgassa meg ezt az útmutatótAI-narrált · ~3 min

Ezen az oldalon3 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. A RAG értékelési metrikák és a RAGAS jövője
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

A RAGAS egy nyílt forráskódú keretrendszer, amely ezeket a mérőszámokat számítja ki, nagyrészt LLM-t használva bíróként. A külön pontszámok azért számítanak, mert megmutatják, hogy a rossz válasz a rossz szövegrészek beolvasásából vagy a helyes szövegrészek helytelen használatából származott.

Mély merülés

A RAG system can fail in two places: retrieval can fetch the wrong passages, or generation can ignore or distort the right ones. A single overall quality score hides which happened, so RAG evaluation splits the pipeline into measurable parts. RAGAS, an open-source framework introduced in a 2023 paper by Es and colleagues, popularized a set of core metrics that cover both halves. Faithfulness asks whether every claim in the answer is supported by the retrieved context; it catches hallucination even when the answer sounds plausible. Answer relevance asks whether the answer actually addresses the question, penalizing evasive or padded replies. Context precision asks whether the retrieved chunks that matter are ranked near the top rather than buried among noise. Context recall asks whether the retrieved context contains everything needed to produce a reference answer, so it requires a ground-truth answer for each test question. Most of these scores are computed by an LLM acting as a judge, broken into small steps. For faithfulness, the judge extracts individual statements from the answer and checks each against the context; the score is the fraction supported. For answer relevance, RAGAS generates questions that the answer would respond to and compares them with the original question using embeddings. Similar ideas appear in other tools, such as the TruLens RAG triad (context relevance, groundedness and answer relevance) and DeepEval. Two misconceptions are common. First, faithful does not mean correct: an answer can faithfully repeat an outdated or wrong document. Second, LLM-judge scores are not ground truth. They vary with the judge model and prompt, so teams spot-check them against human labels and compare systems under identical settings rather than treating a score like 0.85 as an absolute grade.

Valós megvalósítás

Egy bank házirend-asszisztense 0,95 pontot kap a kontextus felidézésére, de 0,70 a hűségre, ami azt jelzi, hogy a csapat visszakeresése rendben van, és a modell nem támogatott részleteket ad hozzá, így inkább szigorítják a promptot, mintsem az indexet újjáépítik.

Egy ügyfélszolgálati csapat két beágyazási modellt hasonlít össze ugyanazon a 200 kérdésből álló tesztkészleten, és megtartja azt, amelyik nagyobb kontextus-felidézéssel és kontextuspontossággal rendelkezik.

Egy kórházismereti eszköz hűségpontozást végez a valódi kérdések napi mintáján, és megjelöli a válaszokat nem alátámasztott állításokkal emberi felülvizsgálat céljából, mielőtt a minta elterjedne.

Egy induló vállalkozás új rangsorolót ad hozzá, miután magas kontextus-felidézést, de alacsony kontextuspontosságot tapasztal, ami azt jelenti, hogy a megfelelő darabokat lekérték, de a nem relevánsak alá sorolják.

A RAG értékelési metrikák és a RAGAS jövője

A RAG értékelése az alkalmi offline jelentésekről a folyamatos ellenőrzések felé tolódik el, ahol a termelési forgalom mintáját pontozzák, és a regressziók riasztásokat váltanak ki. A keretrendszerek mérőszámokat adnak hozzá a többfordulós beszélgetésekhez, az ügynökökhöz és az eszközhasználathoz, és a metrikadefiníciók a könyvtári verziók között változnak, így a verziók rögzítése fontos az összehasonlítható eredményekhez. A legnagyobb nyitott kérdés a bírók megbízhatósága: az LLM bírák mutathatnak elfogultságot, például a hosszabb válaszokat részesítik előnyben, és a humán felülvizsgálókkal való egyetértés tartományonként változik. A bírák kalibrálása a kis, ember által megjelölt halmazokhoz és a determinisztikus visszakeresési mérőszámokkal való párosítása valószínűleg továbbra is bevált gyakorlat marad.

A gyakorlatba ültetés

Miért számít

  • Költség és költségvetés. Az építészeti döntések évekig növelik a teljesítményt és a működési költségeket.
  • Tisztább döntések. A technikai oktatás segít a csapatoknak a megfelelő verem kiválasztásában, nem csak a legújabb készletben.
  • Minőségellenőrzés. A jobb mérnöki döntések csökkentik a termelés megbízhatósági incidenseit.

Vigyázz

  • Egy benchmark optimalizálása elrejtheti a rendszer általános hiányosságait.
  • Az infrastrukturális és karbantartási költségeket gyakran alábecsülik.
  • A biztonsági és megfigyelhetőségi hiányosságok a rendszerek bonyolultabbá válásával nőhetnek.

Következő lépések

  1. Határozza meg a késleltetési, minőségi és költségcélokat a megvalósítás előtt.
  2. Benchmark reális terhelési és adatviszonyok mellett.
  3. Műszerfigyelés a hibák, az eltolódás és a felhasználói hatások szempontjából.
  4. A méretezés előtt készítse elő a visszagörgetési és az incidensre adott válaszútvonalakat.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Töltse ki a RAG értékelési mérőszámokat és a RAGAS kvízt

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

Mi az a RAG értékelési metrika és a RAGAS?

A RAG értékelése a visszakereséssel kiegészített generációs rendszert külön-külön pontozza a visszakeresés és a generálás során, leggyakrabban négy mérőszámmal: hűség, válasz relevancia, kontextus pontosság és kontextus felidézése. A RAGAS egy nyílt forráskódú keretrendszer, amely ezeket a mérőszámokat számítja ki, nagyrészt LLM-t használva bíróként. A külön pontszámok azért számítanak, mert megmutatják, hogy a rossz válasz a rossz szövegrészek beolvasásából vagy a helyes szövegrészek helytelen használatából származott.

Melyik mérőszám ellenőrzi, hogy a válaszban szereplő minden állítást alátámasztja-e a visszakeresett kontextus?

A hűség a hallucinációt célzó kontextus által alátámasztott válaszkövetelések hányadát méri.

A felsorolt ​​mérőszámok közül melyikre van szükség minden tesztkérdésnél az alapigazság hivatkozási válaszára?

A kontextus visszahívása ellenőrzi, hogy a visszakeresett kontextus tartalmazza-e azt, ami a hivatkozási válaszhoz szükséges, tehát léteznie kell hivatkozásnak.

Mit mér a kontextus pontossága?

A kontextus precíziója azt jutalmazza, hogy a hasznos darabokat előrébb helyezi a rangsorban, ahelyett, hogy az irrelevánsok közé temetné.

Hogyan becsüli meg a RAGAS a válasz relevanciáját?

Ha a válaszból generált kérdések hasonlítanak a valódi kérdésre, a válasz a témához tartozik; a beágyazás méri ezt a hasonlóságot.

Egy rendszer magas kontextus-felidézést, de alacsony kontextuspontosságot mutat. Mi a legvalószínűbb megoldás?

A megfelelő darabok lekérése folyamatban van, de rosszul vannak rangsorolva, ami egy olyan rangsorolási probléma, amellyel az újrarangadó gyakran foglalkozik.