NastępnyNastępny poradnik
Wskaźniki oceny ROUGE i BLEU
Techniczne
PRZEWODNIK techniczny
Metryki oceny RAG i RAGAS
Ocena RAG ocenia system generowania wspomaganego wyszukiwaniem oddzielnie w przypadku wyszukiwania i generowania, najczęściej za pomocą czterech wskaźników: wierności, trafności odpowiedzi, precyzji kontekstu i przypomnienia kontekstu.
Posłuchaj tego przewodnikaOpowiadane przez sztuczną inteligencję · ~3 min
Na tej stronie3 minuty czytania
Przegląd
RAGAS to platforma typu open source, która oblicza te wskaźniki, w dużej mierze wykorzystując LLM jako sędziego. Oddzielne wyniki mają znaczenie, ponieważ pokazują, czy zła odpowiedź wynikała z pobrania niewłaściwych fragmentów, czy z niewłaściwego użycia właściwych.
Głębokie nurkowanie
System RAG może zawieść w dwóch miejscach: pobieranie może spowodować pobranie niewłaściwych fragmentów lub generowanie może zignorować lub zniekształcić właściwe. Pojedynczy ogólny wynik jakości ukrywa to, co się wydarzyło, więc ocena RAG dzieli rurociąg na mierzalne części. RAGAS, platforma typu open source wprowadzona w artykule Es i współpracowników z 2023 r., spopularyzowała zestaw podstawowych wskaźników obejmujących obie połowy. Wierność pyta, czy każde twierdzenie w odpowiedzi jest poparte odzyskanym kontekstem; łapie halucynacje, nawet jeśli odpowiedź brzmi wiarygodnie. Trafność odpowiedzi pyta, czy odpowiedź faktycznie odnosi się do pytania, karząc odpowiedzi wymijające lub uzupełnione. Dokładność kontekstu pyta, czy odzyskane fragmenty, które mają znaczenie, znajdują się na górze, a nie zakopane wśród szumu. Przywołanie kontekstu pyta, czy pobrany kontekst zawiera wszystko, co potrzebne do uzyskania odpowiedzi referencyjnej, dlatego wymaga odpowiedzi opartej na faktach na każde pytanie testowe. Większość tych wyników jest obliczana przez LLM pełniący rolę sędziego, w podziale na małe kroki. Aby zachować wierność, sędzia wyodrębnia z odpowiedzi poszczególne stwierdzenia i sprawdza je pod kątem kontekstu; wynik to obsługiwany ułamek. Aby odpowiedź była trafna, RAGAS generuje pytania, na które odpowiedź mogłaby odpowiedzieć, i porównuje je z pierwotnym pytaniem za pomocą osadzania. Podobne pomysły pojawiają się w innych narzędziach, takich jak triada TruLens RAG (stosowność kontekstu, uziemienie i trafność odpowiedzi) oraz DeepEval. Powszechne są dwa błędne przekonania. Po pierwsze, wierny nie oznacza poprawny: odpowiedź może wiernie powtórzyć nieaktualny lub błędny dokument. Po drugie, wyniki sędziów LLM nie są prawdą. Różnią się one w zależności od modelu sędziego i podpowiedzi, więc zespoły sprawdzają je na miejscu z etykietami stworzonymi przez ludzi i porównują systemy przy identycznych ustawieniach, zamiast traktować wynik taki jak 0,85 jako ocenę bezwzględną.
Implementacja w świecie rzeczywistym
Asystent ds. zasad banku uzyskuje wynik 0,95 za przypominanie kontekstu, ale 0,70 za wierność, co oznacza, że zespołowi odzyskiwanie przebiega prawidłowo, a model dodaje nieobsługiwane szczegóły, więc zawęża podpowiedzi, zamiast odbudowywać indeks.
Zespół pomocy technicznej porównuje dwa modele osadzania w tym samym zestawie testów składającym się z 200 pytań i wybiera ten, który zapewnia większą pamięć kontekstową i precyzję kontekstu.
Narzędzie wiedzy szpitalnej przeprowadza ocenę wierności na codziennej próbie prawdziwych pytań i oznacza odpowiedzi jako nieuzasadnione twierdzenia do sprawdzenia przez człowieka, zanim wzorzec się rozpowszechni.
Startup dodaje moduł rerankingu po zobaczeniu wysokiego zapamiętywania kontekstu, ale niskiej precyzji kontekstu, co oznacza, że pobrano właściwe fragmenty, ale umieszczono je poniżej nieistotnych.
Przyszłość wskaźników oceny RAG i RAGAS
Ocena RAG odchodzi od sporadycznych raportów offline w kierunku ciągłych kontroli, podczas których oceniana jest próbka ruchu produkcyjnego, a regresje wyzwalają alerty. Do frameworków dodano metryki dla wieloetapowych konwersacji, użycia agentów i narzędzi, a definicje metryk zmieniają się pomiędzy wersjami bibliotek, więc przypinanie wersji ma znaczenie dla porównywalnych wyników. Największą otwartą kwestią jest wiarygodność sędziów: sędziowie LLM mogą wykazywać uprzedzenia, takie jak faworyzowanie dłuższych odpowiedzi, a zgodność z recenzentami różni się w zależności od domeny. Kalibrowanie sędziów na podstawie małych zestawów oznaczonych przez człowieka i łączenie ich z deterministycznymi metrykami wyszukiwania prawdopodobnie pozostanie dobrą praktyką.
Wdrażanie tego w praktykę
Dlaczego to ma znaczenie
- Koszt i budżet. Decyzje dotyczące architektury wpływają na wydajność i koszty operacyjne przez lata.
- Jaśniejsze decyzje. Edukacja techniczna pomaga zespołom wybrać odpowiedni stos, a nie tylko najnowszy.
- Kontrola jakości. Lepsze wybory inżynieryjne zmniejszają liczbę incydentów związanych z niezawodnością w produkcji.
Uważaj na
- Optymalizacja jednego testu porównawczego może ukryć szersze słabości systemu.
- Koszty infrastruktury i utrzymania są często niedoszacowane.
- W miarę jak systemy stają się coraz bardziej złożone, luki w bezpieczeństwie i obserwowalności mogą się zwiększać.
Kolejne kroki
- Przed wdrożeniem zdefiniuj docelowe opóźnienia, jakość i koszty.
- Test porównawczy w realistycznych warunkach obciążenia i danych.
- Monitorowanie przyrządu pod kątem błędów, dryftu i wpływu użytkownika.
- Przed skalowaniem przygotuj ścieżki wycofywania zmian i reakcji na incydenty.
Odkrywaj dalej
Darmowy newsletter
Otrzymuj codzienne podsumowanie AI
Trzy zweryfikowane historie AI każdego poranka w dni robocze, napisane prostym angielskim. Bezpłatne na zawsze, bez reklam.
Jedno e‑mail każdego dnia roboczego. Wypisz się jednym kliknięciem. Nigdy nie sprzedajemy ani nie udostępniamy Twojego adresu.
Sprawdź się
Take the RAG Evaluation Metrics and RAGAS quiz
Natychmiastowa informacja zwrotna na każde pytanie oraz udostępnialny certyfikat z weryfikowalnym ID po zaliczeniu kursu.
Wspieraj darmową edukację AI. AI Understanding jest organizacją non-profit 501(c)(3) — bez reklam, bez płatnej ściany, zawsze. Przekaż darowiznę
Często zadawane pytania
Co to są wskaźniki oceny RAG i RAGAS?
Ocena RAG ocenia system generowania wspomaganego wyszukiwaniem oddzielnie w przypadku wyszukiwania i generowania, najczęściej za pomocą czterech wskaźników: wierności, trafności odpowiedzi, precyzji kontekstu i przypomnienia kontekstu. RAGAS to platforma typu open source, która oblicza te wskaźniki, w dużej mierze wykorzystując LLM jako sędziego. Oddzielne wyniki mają znaczenie, ponieważ pokazują, czy zła odpowiedź wynikała z pobrania niewłaściwych fragmentów, czy z niewłaściwego użycia właściwych.
Która metryka sprawdza, czy każde twierdzenie w odpowiedzi jest obsługiwane przez pobrany kontekst?
Wierność mierzy ułamek odpowiedzi popartych kontekstem, który jest ukierunkowany na halucynacje.
Która z tych metryk wymaga opartej na faktach odpowiedzi referencyjnej na każde pytanie testowe?
Przywołanie kontekstu sprawdza, czy pobrany kontekst zawiera to, co jest potrzebne do uzyskania odpowiedzi referencyjnej, więc odniesienie musi istnieć.
Co mierzy precyzja kontekstu?
Precyzja kontekstu nagradza umieszczanie przydatnych fragmentów wysoko w rankingu zamiast zakopywania ich wśród nieistotnych.
W jaki sposób RAGAS szacuje trafność odpowiedzi?
Jeśli pytania wygenerowane na podstawie odpowiedzi przypominają prawdziwe pytanie, odpowiedź jest na temat; osadzania mierzą to podobieństwo.
System wykazuje wysoki poziom zapamiętywania kontekstu, ale niską precyzję kontekstu. Jakie jest najbardziej prawdopodobne rozwiązanie?
Pobierane są właściwe fragmenty, ale ich ranking jest słaby, co jest problemem rankingowym, który często rozwiązuje osoba zajmująca się ponownym rankingiem.
Ucz się dalej
Powiązane przewodniki
Wybrano więcej przewodników na ten temat