LegközelebbKövetkező útmutató
RAG értékelési metrikák és RAGAS
Műszaki
Műszaki ÚTMUTATÓ
A Corrective RAG (CRAG) egy lekérdezés-ellátott generálási módszer, amely ellenőrzi, hogy a lekérdezett dokumentumok mennyire relevánsak a válaszadás előtt, és korrigáló intézkedést hajt végre, ha a lekérdezés gyenge, például a dokumentumok finomhangolásával, a lekérdezés újraírásával vagy a webes kereséssel.
Hallgassa meg ezt az útmutatótAI-narrált · ~3 min
Fontos, mert a standard RAG bármilyen lekérdezett tartalmat átad a modellnek, és a nem releváns vagy félrevezető dokumentumok a hibás, magabiztosan megfogalmazott válaszok fő okai.
CRAG was introduced in the 2024 paper "Corrective Retrieval Augmented Generation" by Shi-Qi Yan and colleagues. It targets a basic weakness of standard RAG: the generator trusts the retriever. If the top documents are off-topic, outdated or only loosely related, the model often answers anyway. The paper's design adds a lightweight retrieval evaluator, a fine-tuned T5-large model in the original work, which scores each retrieved document for relevance to the question. Based on those scores, the system picks one of three actions. If at least one document is judged clearly relevant, the action is Correct: the documents go through knowledge refinement, a decompose-then-recompose step that splits them into small strips, scores each strip, and keeps only the useful ones. If all documents score low, the action is Incorrect: the retrieved documents are discarded, the question is rewritten into search-engine-style keywords, and web search results are used instead, again refined. If the evaluator is unsure, the action is Ambiguous, and the system combines refined internal knowledge with web results. The authors presented CRAG as plug-and-play: it can wrap standard RAG or other methods such as Self-RAG, and they reported improvements on several short-form and long-form generation benchmarks. In practice, many teams implement CRAG-style pipelines without the original fine-tuned evaluator, using an LLM prompt to grade relevance and a graph or agent framework (LangGraph has a well-known CRAG tutorial) to route between steps. Common misconceptions: CRAG does not verify that the final answer is correct; it grades retrieval inputs. Web search is not automatically better, since it can bring in low-quality sources. And grading adds latency and cost to every query.
Egy vállalat help-desk botja három szabálytöredéket nyer egy szülői szabadságról szóló kérdésre, a rangsoroló nem talál relevánst, és a rendszer újraírja a lekérdezést, majd újra keres, ahelyett, hogy a hibás szabályból válaszolna.
Egy orvosi információs asszisztens értékeli a lekérdezett szakaszokat, csak azokat a mondatokat tartja meg, amelyek említik a felhasználó által kért gyógyszert, és eldobja a környező szöveget más gyógyszerekről, mielőtt generálna.
Egy hírek Q&A eszköz észleli, hogy belső archívuma nem tartalmaz lefedettséget egy nagyon új eseményre, és visszatér a webes kereséshez a legfrissebb cikkekért.
Egy jogi kutatási prototípus a lekérdezést ellentmondásosnak jelöli, ha a dokumentumok csak részben relevánsak, és finomított belső szakaszokat kombinál friss keresési eredményekkel a válaszadás előtt.
A CRAG ötlete, hogy ellenőrizze a lekérdezés minőségét és ennek megfelelően irányítsa, egy közös mintává vált az agentikus RAG rendszerekben, ahol a modell dönt arról, hogy újra lekérdezzen, máshol keressen vagy válaszoljon. A jövőbeli munka valószínűleg a olcsóbb és jobban kalibrált relevancia-értékelőkre, valamint a bemeneti ellenőrzések kombinálására összpontosít, mint például annak ellenőrzése, hogy a válasz a megtartott bizonyítékokkal alátámasztott-e. A konkrét háromlépéses stratégia idővel kevésbé lehet fontos, mint a szélesebb elv, miszerint a lekérdezett kontextust értékelni kell, ne csak automatikusan megbízni benne.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A Corrective RAG (CRAG) egy lekérdezés-ellátott generálási módszer, amely ellenőrzi, hogy a lekérdezett dokumentumok mennyire relevánsak a válaszadás előtt, és korrigáló intézkedést hajt végre, ha a lekérdezés gyenge, például a dokumentumok finomhangolásával, a lekérdezés újraírásával vagy a webes kereséssel. Fontos, mert a standard RAG bármilyen lekérdezett tartalmat átad a modellnek, és a nem releváns vagy félrevezető dokumentumok a hibás, magabiztosan megfogalmazott válaszok fő okai.
A standard RAG a lekérdezett dokumentumokat a relevanciától függetlenül átadja a modellnek, ami magabiztos, de hibás válaszokat eredményezhet. A CRAG először értékeli a lekérdezést.
A cikk egy könnyű, finomhangolt T5-large modellt használta a dokumentum relevanciájának pontozására.
Az Incorrect akció eldobja a dokumentumokat, a kérdést lekérdezési lekérdezésekké írja át, és finomított webes eredményekre támaszkodik.
A tudás finomítása dokumentumokat kis szalagokra bont, pontoz, és csak a hasznos részeket állítja össze a generátor számára.
Az Ambiguous cselekvés mindkét forrást egyesíti, hogy fedezetet nyújtson a bizonytalanság ellen az értékelő ítélkezésében.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
RAG értékelési metrikák és RAGAS
Műszaki