Technický PRŮVODCE

Korektivní RAG (CRAG)

Corrective RAG (CRAG) je metoda generování rozšířeného vyhledávání, která před odpovědí zkontroluje, jak relevantní jsou vyhledané dokumenty, a podnikne nápravnou akci, když se vyhledávání zdá slabé, jako je upřesnění dokumentů, přepsání dotazu nebo prohledání webu.

Poslechněte si tento návodAI-vyprávěný · ~3 min

Na této stránce3 min čtení
  1. Přehled
  2. Hluboký ponor
  3. Real-World Implementace
  4. Budoucnost korektivního RAG (CRAG)
  5. Uvedení do praxe
  6. Pokračujte v objevování
  7. Často kladené otázky

Přehled

Záleží na tom, protože standardní RAG předává do modelu vše, co získá, a irelevantní nebo zavádějící dokumenty jsou hlavní příčinou nesprávných, sebevědomě uvedených odpovědí.

Hluboký ponor

CRAG byl představen v dokumentu z roku 2024 „Corrective Retrieval Augmented Generation“ od Shi-Qi Yan a kolegů. Zaměřuje se na základní slabinu standardního RAG: generátor důvěřuje retrívru. Pokud jsou hlavní dokumenty mimo téma, zastaralé nebo jen volně souvisí, model často stejně odpoví. Design papíru přidává lehký vyhodnocovací nástroj pro vyhledávání, vyladěný model T5-velký v původním díle, který hodnotí každý získaný dokument z hlediska relevance pro danou otázku. Na základě těchto skóre systém vybere jednu ze tří akcí. Pokud je alespoň jeden dokument posouzen jako jasně relevantní, akce je Správná: dokumenty procházejí zpřesňováním znalostí, krokem rozložte a poté znovu složte, který je rozdělí na malé proužky, každý proužek ohodnotí a ponechá si pouze ty užitečné. Pokud mají všechny dokumenty nízké skóre, akce je nesprávná: načtené dokumenty jsou zahozeny, otázka je přepsána na klíčová slova ve stylu vyhledávače a místo toho se použijí výsledky vyhledávání na webu, opět zpřesněné. Pokud si hodnotitel není jistý, akce je nejednoznačná a systém kombinuje vytříbené interní znalosti s webovými výsledky. Autoři představili CRAG jako plug-and-play: může zabalit standardní RAG nebo jiné metody, jako je Self-RAG, a oznámili zlepšení u několika benchmarků generování krátké a dlouhé formy. V praxi mnoho týmů implementuje kanály ve stylu CRAG bez původního vyladěného hodnotitele, pomocí výzvy LLM pro hodnocení relevance a grafu nebo rámce agenta (LangGraph má dobře známý tutoriál CRAG) pro směrování mezi kroky. Běžné mylné představy: CRAG neověřuje správnost konečné odpovědi; hodnotí vstupy pro vyhledávání. Vyhledávání na webu není automaticky lepší, protože může přinést nekvalitní zdroje. A třídění zvyšuje latenci a náklady na každý dotaz.

Real-World Implementace

Bot společnosti helpdesku načte tři části zásad pro otázku týkající se rodičovské dovolené, srovnávač nenajde žádnou relevantní a systém přepíše dotaz a znovu hledá, místo aby odpovídal ze špatné zásady.

Asistent lékařských informací hodnotí načtené pasáže, uchovává pouze věty, které zmiňují drogu, na kterou se uživatel ptal, a okolní text o jiných drogách před vygenerováním zahodí.

Nástroj pro dotazy a odpovědi zpráv zjistí, že jeho interní archiv nepokrývá velmi nedávnou událost, a vrátí se k vyhledávání aktuálních článků na webu.

Prototyp právního výzkumu označuje vyhledávání jako nejednoznačné, když jsou dokumenty relevantní pouze částečně, a před odpovědí kombinuje rafinované interní pasáže s čerstvými výsledky vyhledávání.

Budoucnost korektivního RAG (CRAG)

Myšlenka CRAG, zkontrolovat kvalitu vyhledávání a odpovídajícím způsobem cestu, se stala běžným vzorem v systémech agentních RAG, kde se model rozhoduje, zda znovu vyhledat, hledat jinde nebo odpovědět. Budoucí práce se pravděpodobně zaměří na levnější a lépe kalibrované hodnotitele relevance a na kombinaci vstupních kontrol s výstupními kontrolami, jako je ověření, zda je odpověď podložena uchovávanými důkazy. Konkrétní tříčinné schéma může být časem méně důležité než širší princip, že získaný kontext by měl být vyhodnocen spíše než automaticky důvěryhodný.

Uvedení do praxe

Proč na tom záleží

  • Cena a rozpočet. Rozhodnutí o architektuře zvyšují výkon a provozní náklady po mnoho let.
  • Jasnější rozhodnutí. Technické vzdělání pomáhá týmům vybrat ten správný stack, nejen ten nejnovější.
  • Kontrola kvality. Lepší konstrukční volby snižují výskyt problémů se spolehlivostí ve výrobě.

Pozor na

  • Optimalizace jednoho benchmarku může skrýt širší systémové slabiny.
  • Náklady na infrastrukturu a údržbu jsou často podceňovány.
  • Mezery v zabezpečení a pozorovatelnosti se mohou zvětšovat, jak se systémy stávají složitějšími.

Další kroky

  1. Před implementací definujte cíle latence, kvality a nákladů.
  2. Benchmark za realistických podmínek zatížení a dat.
  3. Monitorování chyb, posunu a dopadu na uživatele.
  4. Před škálováním připravte cesty vrácení zpět a reakce na incidenty.

Pokračujte v objevování

Newsletter zdarma

Získejte denní přehled o AI

Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.

Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.

Otestujte se

Take the Corrective RAG (CRAG) quiz

Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.

Spustit kvíz

Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte

Často kladené otázky

Co je to korektivní RAG (CRAG)?

Corrective RAG (CRAG) je metoda generování rozšířeného vyhledávání, která před odpovědí zkontroluje, jak relevantní jsou vyhledané dokumenty, a podnikne nápravnou akci, když se vyhledávání zdá slabé, jako je upřesnění dokumentů, přepsání dotazu nebo prohledání webu. Záleží na tom, protože standardní RAG předává do modelu vše, co získá, a irelevantní nebo zavádějící dokumenty jsou hlavní příčinou nesprávných, sebevědomě uvedených odpovědí.

Jakou hlavní slabinu standardního RAG řeší CRAG?

Standardní RAG předává načtené dokumenty do modelu bez ohledu na relevanci, což může vést k sebejistým chybným odpovědím. CRAG nejprve vyhodnotí vyhledání.

Jaký model sloužil v původním článku CRAG jako vyhodnocovatel vyhledávání?

Papír používal lehký, jemně vyladěný model T5-large k hodnocení relevance dokumentu.

Co dělá CRAG, když všechny získané dokumenty mají nízké skóre?

Nesprávná akce zahodí dokumenty, přepíše otázku do vyhledávacích dotazů a spoléhá na upřesněné webové výsledky.

Jaký je účel kroku rozložit a poté znovu skládat?

Upřesnění znalostí rozděluje dokumenty na malé proužky, ohodnocuje je a znovu skládá pouze užitečné části pro generátor.

Když si hodnotitel není jistý relevanci, jaké opatření CRAG podnikne?

Nejednoznačná akce kombinuje oba zdroje, aby se zajistila proti nejistotě v úsudku hodnotitele.