LegközelebbKövetkező útmutató
ROUGE és BLEU értékelési metrikák
Műszaki
Műszaki ÚTMUTATÓ
A RAG értékelése a visszakereséssel kiegészített generációs rendszert külön-külön pontozza a visszakeresés és a generálás során, leggyakrabban négy mérőszámmal: hűség, válasz relevancia, kontextus pontosság és kontextus felidézése.
Hallgassa meg ezt az útmutatótAI-narrált · ~3 min
A RAGAS egy nyílt forráskódú keretrendszer, amely ezeket a mérőszámokat számítja ki, nagyrészt LLM-t használva bíróként. A külön pontszámok azért számítanak, mert megmutatják, hogy a rossz válasz a rossz szövegrészek beolvasásából vagy a helyes szövegrészek helytelen használatából származott.
A RAG system can fail in two places: retrieval can fetch the wrong passages, or generation can ignore or distort the right ones. A single overall quality score hides which happened, so RAG evaluation splits the pipeline into measurable parts. RAGAS, an open-source framework introduced in a 2023 paper by Es and colleagues, popularized a set of core metrics that cover both halves. Faithfulness asks whether every claim in the answer is supported by the retrieved context; it catches hallucination even when the answer sounds plausible. Answer relevance asks whether the answer actually addresses the question, penalizing evasive or padded replies. Context precision asks whether the retrieved chunks that matter are ranked near the top rather than buried among noise. Context recall asks whether the retrieved context contains everything needed to produce a reference answer, so it requires a ground-truth answer for each test question. Most of these scores are computed by an LLM acting as a judge, broken into small steps. For faithfulness, the judge extracts individual statements from the answer and checks each against the context; the score is the fraction supported. For answer relevance, RAGAS generates questions that the answer would respond to and compares them with the original question using embeddings. Similar ideas appear in other tools, such as the TruLens RAG triad (context relevance, groundedness and answer relevance) and DeepEval. Two misconceptions are common. First, faithful does not mean correct: an answer can faithfully repeat an outdated or wrong document. Second, LLM-judge scores are not ground truth. They vary with the judge model and prompt, so teams spot-check them against human labels and compare systems under identical settings rather than treating a score like 0.85 as an absolute grade.
Egy bank házirend-asszisztense 0,95 pontot kap a kontextus felidézésére, de 0,70 a hűségre, ami azt jelzi, hogy a csapat visszakeresése rendben van, és a modell nem támogatott részleteket ad hozzá, így inkább szigorítják a promptot, mintsem az indexet újjáépítik.
Egy ügyfélszolgálati csapat két beágyazási modellt hasonlít össze ugyanazon a 200 kérdésből álló tesztkészleten, és megtartja azt, amelyik nagyobb kontextus-felidézéssel és kontextuspontossággal rendelkezik.
Egy kórházismereti eszköz hűségpontozást végez a valódi kérdések napi mintáján, és megjelöli a válaszokat nem alátámasztott állításokkal emberi felülvizsgálat céljából, mielőtt a minta elterjedne.
Egy induló vállalkozás új rangsorolót ad hozzá, miután magas kontextus-felidézést, de alacsony kontextuspontosságot tapasztal, ami azt jelenti, hogy a megfelelő darabokat lekérték, de a nem relevánsak alá sorolják.
A RAG értékelése az alkalmi offline jelentésekről a folyamatos ellenőrzések felé tolódik el, ahol a termelési forgalom mintáját pontozzák, és a regressziók riasztásokat váltanak ki. A keretrendszerek mérőszámokat adnak hozzá a többfordulós beszélgetésekhez, az ügynökökhöz és az eszközhasználathoz, és a metrikadefiníciók a könyvtári verziók között változnak, így a verziók rögzítése fontos az összehasonlítható eredményekhez. A legnagyobb nyitott kérdés a bírók megbízhatósága: az LLM bírák mutathatnak elfogultságot, például a hosszabb válaszokat részesítik előnyben, és a humán felülvizsgálókkal való egyetértés tartományonként változik. A bírák kalibrálása a kis, ember által megjelölt halmazokhoz és a determinisztikus visszakeresési mérőszámokkal való párosítása valószínűleg továbbra is bevált gyakorlat marad.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A RAG értékelése a visszakereséssel kiegészített generációs rendszert külön-külön pontozza a visszakeresés és a generálás során, leggyakrabban négy mérőszámmal: hűség, válasz relevancia, kontextus pontosság és kontextus felidézése. A RAGAS egy nyílt forráskódú keretrendszer, amely ezeket a mérőszámokat számítja ki, nagyrészt LLM-t használva bíróként. A külön pontszámok azért számítanak, mert megmutatják, hogy a rossz válasz a rossz szövegrészek beolvasásából vagy a helyes szövegrészek helytelen használatából származott.
A hűség a hallucinációt célzó kontextus által alátámasztott válaszkövetelések hányadát méri.
A kontextus visszahívása ellenőrzi, hogy a visszakeresett kontextus tartalmazza-e azt, ami a hivatkozási válaszhoz szükséges, tehát léteznie kell hivatkozásnak.
A kontextus precíziója azt jutalmazza, hogy a hasznos darabokat előrébb helyezi a rangsorban, ahelyett, hogy az irrelevánsok közé temetné.
Ha a válaszból generált kérdések hasonlítanak a valódi kérdésre, a válasz a témához tartozik; a beágyazás méri ezt a hasonlóságot.
A megfelelő darabok lekérése folyamatban van, de rosszul vannak rangsorolva, ami egy olyan rangsorolási probléma, amellyel az újrarangadó gyakran foglalkozik.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
ROUGE és BLEU értékelési metrikák
Műszaki