NastępnyNastępny poradnik
Metryki oceny RAG i RAGAS
Techniczne
PRZEWODNIK techniczny
Korygujące RAG (CRAG)
Corrective RAG (CRAG) to metoda generowania wspomaganego wyszukiwaniem, która przed udzieleniem odpowiedzi sprawdza, czy odnalezione dokumenty są istotne, i podejmuje działania naprawcze, gdy wyszukiwanie wydaje się słabe, np. udoskonalanie dokumentów, przepisywanie zapytania lub przeszukiwanie sieci.
Posłuchaj tego przewodnikaOpowiadane przez sztuczną inteligencję · ~3 min
Na tej stronie3 minuty czytania
Przegląd
Ma to znaczenie, ponieważ standardowy RAG przekazuje wszystko, co pobierze, do modelu, a nieistotne lub wprowadzające w błąd dokumenty są główną przyczyną błędnych, pewnych odpowiedzi.
Głębokie nurkowanie
CRAG został wprowadzony w artykule z 2024 r. „Corrective Retrieval Augmented Generation” autorstwa Shi-Qi Yan i współpracowników. Jego celem jest podstawowa słabość standardowego RAG: generator ufa retrieverowi. Jeśli najważniejsze dokumenty są nie na temat, są nieaktualne lub luźno powiązane, model często i tak odpowiada. Projekt artykułu dodaje lekki moduł oceniający wyszukiwanie, precyzyjnie dostrojony model T5 z oryginalnej pracy, który ocenia każdy odzyskany dokument pod kątem związku z pytaniem. Na podstawie tych wyników system wybiera jedną z trzech akcji. Jeśli co najmniej jeden dokument zostanie uznany za wyraźnie istotny, działanie jest prawidłowe: dokumenty przechodzą przez udoskonalanie wiedzy, etap rozkładania, a następnie ponownego układania, podczas którego dzieli się je na małe paski, ocenia każdy pasek i zatrzymuje tylko te przydatne. Jeśli wszystkie dokumenty uzyskują niski wynik, działanie jest nieprawidłowe: pobrane dokumenty są odrzucane, pytanie jest przepisywane na słowa kluczowe przypominające wyszukiwarkę, a zamiast tego wykorzystywane są wyniki wyszukiwania internetowego, ponownie udoskonalane. Jeśli oceniający nie jest pewien, działanie jest niejednoznaczne, a system łączy udoskonaloną wiedzę wewnętrzną z wynikami internetowymi. Autorzy przedstawili CRAG jako technologię typu plug-and-play: może obejmować standardowe RAG lub inne metody, takie jak Self-RAG, i zgłosili ulepszenia w kilku krótkich i długich testach porównawczych generacji. W praktyce wiele zespołów wdraża potoki w stylu CRAG bez oryginalnego, dopracowanego ewaluatora, używając podpowiedzi LLM do oceny trafności oraz wykresu lub struktury agenta (LangGraph ma dobrze znany samouczek CRAG) do wyznaczania tras między krokami. Powszechne błędne przekonania: CRAG nie weryfikuje, czy ostateczna odpowiedź jest poprawna; ocenia dane wejściowe wyszukiwania. Wyszukiwanie w Internecie nie jest automatycznie lepsze, ponieważ może pozyskiwać źródła o niskiej jakości. A ocenianie zwiększa opóźnienia i koszty każdego zapytania.
Implementacja w świecie rzeczywistym
Bot działu pomocy technicznej firmy pobiera trzy fragmenty zasad dotyczące pytania dotyczącego urlopu rodzicielskiego, osoba oceniająca nie znajduje żadnego istotnego, a system przepisuje zapytanie i przeszukuje ponownie, zamiast odpowiadać na podstawie niewłaściwej polityki.
Asystent ds. informacji medycznej ocenia znalezione fragmenty, zatrzymuje tylko zdania, które wspominają o leku, o który pytał użytkownik, i przed wygenerowaniem odrzuca otaczający tekst na temat innych leków.
Narzędzie pytań i odpowiedzi wiadomości wykrywa, że w jego wewnętrznym archiwum nie ma relacji z bardzo niedawnego wydarzenia, i powraca do wyszukiwania bieżących artykułów w Internecie.
Prototyp badań prawnych oznacza, że wyszukiwanie jest niejednoznaczne, gdy dokumenty są tylko częściowo istotne, i przed udzieleniem odpowiedzi łączy dopracowane fragmenty wewnętrzne ze świeżymi wynikami wyszukiwania.
Przyszłość naprawczych RAG (CRAG)
Pomysł CRAG, polegający na sprawdzaniu jakości i trasy wyszukiwania, stał się powszechnym wzorcem w agentycznych systemach RAG, gdzie model decyduje, czy odzyskać ponownie, szukać gdzie indziej lub odpowiedzieć. Przyszłe prace prawdopodobnie skupią się na tańszych i lepiej skalibrowanych jednostkach oceniających trafność oraz na łączeniu kontroli danych wejściowych z kontrolami wyników, takimi jak weryfikacja, czy odpowiedź jest poparta przechowywanymi dowodami. Konkretny schemat trzech działań może z czasem mieć mniejsze znaczenie niż szersza zasada, zgodnie z którą uzyskany kontekst powinien być oceniany, a nie automatycznie ufany.
Wdrażanie tego w praktykę
Dlaczego to ma znaczenie
- Koszt i budżet. Decyzje dotyczące architektury wpływają na wydajność i koszty operacyjne przez lata.
- Jaśniejsze decyzje. Edukacja techniczna pomaga zespołom wybrać odpowiedni stos, a nie tylko najnowszy.
- Kontrola jakości. Lepsze wybory inżynieryjne zmniejszają liczbę incydentów związanych z niezawodnością w produkcji.
Uważaj na
- Optymalizacja jednego testu porównawczego może ukryć szersze słabości systemu.
- Koszty infrastruktury i utrzymania są często niedoszacowane.
- W miarę jak systemy stają się coraz bardziej złożone, luki w bezpieczeństwie i obserwowalności mogą się zwiększać.
Kolejne kroki
- Przed wdrożeniem zdefiniuj docelowe opóźnienia, jakość i koszty.
- Test porównawczy w realistycznych warunkach obciążenia i danych.
- Monitorowanie przyrządu pod kątem błędów, dryftu i wpływu użytkownika.
- Przed skalowaniem przygotuj ścieżki wycofywania zmian i reakcji na incydenty.
Odkrywaj dalej
Darmowy newsletter
Otrzymuj codzienne podsumowanie AI
Trzy zweryfikowane historie AI każdego poranka w dni robocze, napisane prostym angielskim. Bezpłatne na zawsze, bez reklam.
Jedno e‑mail każdego dnia roboczego. Wypisz się jednym kliknięciem. Nigdy nie sprzedajemy ani nie udostępniamy Twojego adresu.
Sprawdź się
Rozwiąż quiz na temat poprawczego RAG-u (CRAG)
Natychmiastowa informacja zwrotna na każde pytanie oraz udostępnialny certyfikat z weryfikowalnym ID po zaliczeniu kursu.
Wspieraj darmową edukację AI. AI Understanding jest organizacją non-profit 501(c)(3) — bez reklam, bez płatnej ściany, zawsze. Przekaż darowiznę
Często zadawane pytania
Co to jest korekcyjny RAG (CRAG)?
Corrective RAG (CRAG) to metoda generowania wspomaganego wyszukiwaniem, która przed udzieleniem odpowiedzi sprawdza, czy odnalezione dokumenty są istotne, i podejmuje działania naprawcze, gdy wyszukiwanie wydaje się słabe, np. udoskonalanie dokumentów, przepisywanie zapytania lub przeszukiwanie sieci. Ma to znaczenie, ponieważ standardowy RAG przekazuje wszystko, co pobierze, do modelu, a nieistotne lub wprowadzające w błąd dokumenty są główną przyczyną błędnych, pewnych odpowiedzi.
Jaką podstawową słabość standardowego RAG rozwiązuje CRAG?
Standardowy RAG przekazuje pobrane dokumenty do modelu niezależnie od ich istotności, co może dać pewne błędne odpowiedzi. CRAG najpierw ocenia odzyskanie.
Jaki model służył jako ewaluator wyszukiwania w oryginalnej pracy CRAG?
W artykule wykorzystano lekki, precyzyjnie dostrojony model T5-large do oceny trafności dokumentu.
Co robi CRAG, gdy wszystkie odzyskane dokumenty mają niską ocenę?
Akcja Niepoprawna powoduje odrzucenie dokumentów, przepisanie pytania na zapytania wyszukiwania i opiera się na poprawionych wynikach wyszukiwania.
Jaki jest cel kroku rozkładania, a następnie ponownego komponowania?
Udoskonalanie wiedzy dzieli dokumenty na małe paski, ocenia je i ponownie składa tylko te części, które są przydatne dla generatora.
Kiedy oceniający nie jest pewien co do trafności, jakie działania podejmuje CRAG?
Działanie niejednoznaczne łączy oba źródła, aby zabezpieczyć się przed niepewnością w ocenie oceniającego.
Ucz się dalej
Powiązane przewodniki
Wybrano więcej przewodników na ten temat