NastępnyNastępny poradnik
LLM Eval Frameworks: Promptfoo and DeepEval
Techniczne
PRZEWODNIK techniczny
Budowanie zbioru danych ewaluacyjnych LLM
Zestaw danych ewaluacyjnych LLM to wyselekcjonowany zestaw realistycznych danych wejściowych, z których każdy jest powiązany ze złotą odpowiedzią, faktami referencyjnymi lub rubryką oceniającą, na podstawie których uruchamiasz aplikację w celu pomiaru jakości i wykrycia regresji.
Posłuchaj tego przewodnikaOpowiadane przez sztuczną inteligencję · ~3 min
Na tej stronie4 minuty czytania
Przegląd
Ma to znaczenie, ponieważ zmiana podpowiedzi, modelu lub pobierania może poprawić jedno zachowanie, a jednocześnie zepsuć inne. Bez ustalonego zestawu testów zespoły oceniają zmiany na podstawie kilku starannie wybranych przykładów.
Głębokie nurkowanie
Zacznij od rzeczywistego użycia. Dzienniki, zgłoszenia do pomocy technicznej, zapytania wyszukiwania i wywiady z użytkownikami pokazują, o co tak naprawdę ludzie pytają, łącznie z chaotycznymi sformułowaniami, których brakuje w wymyślonych przykładach. Przed uruchomieniem poproś ekspertów domenowych o napisanie danych wejściowych. Możesz dodać syntetyczne przypadki wygenerowane przez LLM, pod warunkiem, że osoba je przejrzy i usunie nierealistyczne lub zduplikowane elementy. Następnie zdefiniuj, co oznacza „poprawny” w każdym przypadku. Niektóre zadania mają jedną właściwą odpowiedź, np. klasyfikacja, ekstrakcja lub wyszukiwanie faktów. W tym celu przechowuj złotą odpowiedź, którą można porównać dokładnie lub po normalizacji światła. W przypadku zadań otwartych napisz rubrykę zawierającą konkretne, sprawdzalne kryteria, takie jak „wspomina o terminie zwrotu pieniędzy” lub „nie poleca konkurencji”. Niejasne kryteria, takie jak „jest pomocne”, prowadzą do niespójnej oceny, niezależnie od tego, czy oceniający jest osobą, czy modelem sędziego. Następnie celowo uwzględnij zakres rzeczywistych danych wejściowych. Oznacz przypadki według zamiaru, trudności, języka i typu użytkownika i sprawdź, czy reprezentowane są ważne grupy. Dodaj przypadki brzegowe i kontradyktoryjne dane wejściowe: - niejednoznaczne pytania - żądania zawierające brakujące informacje - bardzo długie dane wejściowe - żądania poza zakresem, które należy odrzucić - próby wstrzykiwania podpowiedzi Zachowaj wycinek regresji utworzony na podstawie przeszłych niepowodzeń. Dopasuj rozmiar zestawu do decyzji, którą ma obsłużyć. Kilkadziesiąt dobrze wybranych przypadków może wcześnie ujawnić duże problemy. Niezawodne wykrywanie małych różnic wymaga więcej wysiłku. Przy 100 przypadkach pozytywnego/negatywnego wyniku i wskaźniku pozytywnego wyniku wynoszącym blisko 80 procent margines błędu wynosi w przybliżeniu plus minus 8 punktów procentowych przy ufności 95 procent. Dwupunktowa poprawa jest nie do odróżnienia od hałasu przy tej wielkości. Raportuj wyniki dla każdego wycinka, a nie tylko ogólną średnią. Częstym błędem jest traktowanie zbioru danych jako gotowego. Produkty i użytkownicy się zmieniają, więc odśwież to z nowych logów. Zachowaj odsuniętą część, której nigdy nie dostrajasz, aby Twoje podpowiedzi nie pasowały nadmiernie do testu.
Implementacja w świecie rzeczywistym
Zespół pomocy technicznej eksportuje 300 prawdziwych zgłoszeń z usuniętymi danymi osobowymi, oznacza dla każdego prawidłowe rozwiązanie i ocenia każdą nową, monitowaną wersję.
W przypadku podsumowania spotkania, w którym wiele sformułowań jest poprawnych, zespół sporządza rubrykę: obejmuje trzy kluczowe decyzje, nie zawiera żadnych nieuzasadnionych twierdzeń, nie przekracza 150 słów.
Zespół dodaje przypadki skrajne: puste dane wejściowe, pytanie w języku hiszpańskim, dokument zawierający próbę szybkiego wstrzyknięcia oraz prośbę wykraczającą poza zakres, którą asystent powinien odrzucić.
Gdy użytkownik zgłosi złą odpowiedź w środowisku produkcyjnym, sprawa trafia do zbioru danych z poprawną odpowiedzią, więc poprawka pozostaje odtąd testowana.
Przyszłość budowania zbioru danych ewaluacyjnych LLM
Narzędzia Eval szybko się rozwinęły. Struktury open source i platformy hostowane zarządzają teraz zbiorami danych, uruchamiają moduły oceniające i śledzą wyniki w czasie. Generowanie danych syntetycznych prawdopodobnie będzie nadal udoskonalane, co sprawia, że rzadkie przypadki będą tańsze w badaniu. Nie może zastąpić wkładu prawdziwego użytkownika jako kotwicy tego, co ważne. W miarę jak aplikacje stają się coraz bardziej agentyczne, zestawy ewaluacyjne coraz częściej obejmują wieloetapowe zadania oceniane zarówno na podstawie wyniku końcowego, jak i kroków podjętych po drodze. Podstawowa dyscyplina zmienia się powoli: jasno zdefiniuj sukces, uwzględnij rzeczywiste dane wejściowe, wykorzystaj wystarczającą liczbę przypadków, aby zaufać liczbom i regularnie odświeżaj zestaw z produkcji.
Wdrażanie tego w praktykę
Dlaczego to ma znaczenie
- Koszt i budżet. Decyzje dotyczące architektury wpływają na wydajność i koszty operacyjne przez lata.
- Jaśniejsze decyzje. Edukacja techniczna pomaga zespołom wybrać odpowiedni stos, a nie tylko najnowszy.
- Kontrola jakości. Lepsze wybory inżynieryjne zmniejszają liczbę incydentów związanych z niezawodnością w produkcji.
Uważaj na
- Optymalizacja jednego testu porównawczego może ukryć szersze słabości systemu.
- Koszty infrastruktury i utrzymania są często niedoszacowane.
- W miarę jak systemy stają się coraz bardziej złożone, luki w bezpieczeństwie i obserwowalności mogą się zwiększać.
Kolejne kroki
- Przed wdrożeniem zdefiniuj docelowe opóźnienia, jakość i koszty.
- Test porównawczy w realistycznych warunkach obciążenia i danych.
- Monitorowanie przyrządu pod kątem błędów, dryftu i wpływu użytkownika.
- Przed skalowaniem przygotuj ścieżki wycofywania zmian i reakcji na incydenty.
Odkrywaj dalej
Darmowy newsletter
Otrzymuj codzienne podsumowanie AI
Trzy zweryfikowane historie AI każdego poranka w dni robocze, napisane prostym angielskim. Bezpłatne na zawsze, bez reklam.
Jedno e‑mail każdego dnia roboczego. Wypisz się jednym kliknięciem. Nigdy nie sprzedajemy ani nie udostępniamy Twojego adresu.
Sprawdź się
Rozwiąż quiz na temat tworzenia zestawu danych do ewaluacji LLM
Natychmiastowa informacja zwrotna na każde pytanie oraz udostępnialny certyfikat z weryfikowalnym ID po zaliczeniu kursu.
Wspieraj darmową edukację AI. AI Understanding jest organizacją non-profit 501(c)(3) — bez reklam, bez płatnej ściany, zawsze. Przekaż darowiznę
Często zadawane pytania
Co to jest budowanie zbioru danych ewaluacyjnych LLM?
Zestaw danych ewaluacyjnych LLM to wyselekcjonowany zestaw realistycznych danych wejściowych, z których każdy jest powiązany ze złotą odpowiedzią, faktami referencyjnymi lub rubryką oceniającą, na podstawie których uruchamiasz aplikację w celu pomiaru jakości i wykrycia regresji. Ma to znaczenie, ponieważ zmiana podpowiedzi, modelu lub pobierania może poprawić jedno zachowanie, a jednocześnie zepsuć inne. Bez ustalonego zestawu testów zespoły oceniają zmiany na podstawie kilku starannie wybranych przykładów.
Co przewodnik zaleca jako najlepsze źródło początkowe dla przypadków eval?
Rzeczywiste użycie odzwierciedla to, o co ludzie faktycznie pytają, łącznie z nieuporządkowanym sformułowaniem. Syntetyczne etui są recenzowanym uzupełnieniem, a nie zamiennikiem.
Kiedy rubryka jest bardziej odpowiednia niż pojedyncza złota odpowiedź?
Nie można dokładnie dopasować wyników otwartych, takich jak podsumowania. Konkretne, sprawdzalne kryteria pozwalają oceniającym je konsekwentnie oceniać.
Które z nich jest dobrze napisanym kryterium rubryk?
Dobre kryterium jest konkretne i sprawdzalne. Niejasne kryteria, takie jak „jest pomocne”, prowadzą do niespójnej oceny zarówno przez ludzi, jak i oceniających modele.
Co przewodnik mówi o marginesie błędu, przy 100 przypadkach pozytywnego/nieudanego testu i wskaźniku pozytywnego wyniku wynoszącym blisko 80 procent?
Przy 95-procentowej pewności margines przy tej wielkości wynosi około 8 punktów. Nie można ufać niewielkim różnicom między wersjami bez większej liczby przypadków.
Jaki jest cel wycinka regresji?
Dodanie każdej naprawionej awarii do zbioru danych oznacza, że późniejsza zmiana nie może po cichu ponownie wprowadzić tego samego błędu.
Ucz się dalej
Powiązane przewodniki
Wybrano więcej przewodników na ten temat