DalšíDalší průvodce
RAG Evaluation Metrics a RAGAS
Technický
Technický PRŮVODCE
Corrective RAG (CRAG) je metoda generování rozšířeného vyhledávání, která před odpovědí zkontroluje, jak relevantní jsou vyhledané dokumenty, a podnikne nápravnou akci, když se vyhledávání zdá slabé, jako je upřesnění dokumentů, přepsání dotazu nebo prohledání webu.
Poslechněte si tento návodAI-vyprávěný · ~3 min
Záleží na tom, protože standardní RAG předává do modelu vše, co získá, a irelevantní nebo zavádějící dokumenty jsou hlavní příčinou nesprávných, sebevědomě uvedených odpovědí.
CRAG byl představen v dokumentu z roku 2024 „Corrective Retrieval Augmented Generation“ od Shi-Qi Yan a kolegů. Zaměřuje se na základní slabinu standardního RAG: generátor důvěřuje retrívru. Pokud jsou hlavní dokumenty mimo téma, zastaralé nebo jen volně souvisí, model často stejně odpoví. Design papíru přidává lehký vyhodnocovací nástroj pro vyhledávání, vyladěný model T5-velký v původním díle, který hodnotí každý získaný dokument z hlediska relevance pro danou otázku. Na základě těchto skóre systém vybere jednu ze tří akcí. Pokud je alespoň jeden dokument posouzen jako jasně relevantní, akce je Správná: dokumenty procházejí zpřesňováním znalostí, krokem rozložte a poté znovu složte, který je rozdělí na malé proužky, každý proužek ohodnotí a ponechá si pouze ty užitečné. Pokud mají všechny dokumenty nízké skóre, akce je nesprávná: načtené dokumenty jsou zahozeny, otázka je přepsána na klíčová slova ve stylu vyhledávače a místo toho se použijí výsledky vyhledávání na webu, opět zpřesněné. Pokud si hodnotitel není jistý, akce je nejednoznačná a systém kombinuje vytříbené interní znalosti s webovými výsledky. Autoři představili CRAG jako plug-and-play: může zabalit standardní RAG nebo jiné metody, jako je Self-RAG, a oznámili zlepšení u několika benchmarků generování krátké a dlouhé formy. V praxi mnoho týmů implementuje kanály ve stylu CRAG bez původního vyladěného hodnotitele, pomocí výzvy LLM pro hodnocení relevance a grafu nebo rámce agenta (LangGraph má dobře známý tutoriál CRAG) pro směrování mezi kroky. Běžné mylné představy: CRAG neověřuje správnost konečné odpovědi; hodnotí vstupy pro vyhledávání. Vyhledávání na webu není automaticky lepší, protože může přinést nekvalitní zdroje. A třídění zvyšuje latenci a náklady na každý dotaz.
Bot společnosti helpdesku načte tři části zásad pro otázku týkající se rodičovské dovolené, srovnávač nenajde žádnou relevantní a systém přepíše dotaz a znovu hledá, místo aby odpovídal ze špatné zásady.
Asistent lékařských informací hodnotí načtené pasáže, uchovává pouze věty, které zmiňují drogu, na kterou se uživatel ptal, a okolní text o jiných drogách před vygenerováním zahodí.
Nástroj pro dotazy a odpovědi zpráv zjistí, že jeho interní archiv nepokrývá velmi nedávnou událost, a vrátí se k vyhledávání aktuálních článků na webu.
Prototyp právního výzkumu označuje vyhledávání jako nejednoznačné, když jsou dokumenty relevantní pouze částečně, a před odpovědí kombinuje rafinované interní pasáže s čerstvými výsledky vyhledávání.
Myšlenka CRAG, zkontrolovat kvalitu vyhledávání a odpovídajícím způsobem cestu, se stala běžným vzorem v systémech agentních RAG, kde se model rozhoduje, zda znovu vyhledat, hledat jinde nebo odpovědět. Budoucí práce se pravděpodobně zaměří na levnější a lépe kalibrované hodnotitele relevance a na kombinaci vstupních kontrol s výstupními kontrolami, jako je ověření, zda je odpověď podložena uchovávanými důkazy. Konkrétní tříčinné schéma může být časem méně důležité než širší princip, že získaný kontext by měl být vyhodnocen spíše než automaticky důvěryhodný.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Corrective RAG (CRAG) je metoda generování rozšířeného vyhledávání, která před odpovědí zkontroluje, jak relevantní jsou vyhledané dokumenty, a podnikne nápravnou akci, když se vyhledávání zdá slabé, jako je upřesnění dokumentů, přepsání dotazu nebo prohledání webu. Záleží na tom, protože standardní RAG předává do modelu vše, co získá, a irelevantní nebo zavádějící dokumenty jsou hlavní příčinou nesprávných, sebevědomě uvedených odpovědí.
Standardní RAG předává načtené dokumenty do modelu bez ohledu na relevanci, což může vést k sebejistým chybným odpovědím. CRAG nejprve vyhodnotí vyhledání.
Papír používal lehký, jemně vyladěný model T5-large k hodnocení relevance dokumentu.
Nesprávná akce zahodí dokumenty, přepíše otázku do vyhledávacích dotazů a spoléhá na upřesněné webové výsledky.
Upřesnění znalostí rozděluje dokumenty na malé proužky, ohodnocuje je a znovu skládá pouze užitečné části pro generátor.
Nejednoznačná akce kombinuje oba zdroje, aby se zajistila proti nejistotě v úsudku hodnotitele.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
RAG Evaluation Metrics a RAGAS
Technický