NastępnyNastępny poradnik
8PR i formaty o niskiej precyzji
Techniczne
PRZEWODNIK techniczny
Średnia precyzja i PR-AUC
Średnia precyzja podsumowuje precyzję modelu w miarę wzrostu przypominania w przypadku progów decyzyjnych.
Na tej stronie3 minuty czytania
Przegląd
Krzywe przypomnienia precyzji są przydatne, gdy przypadki dodatnie są rzadkie, ale średnia precyzja i trapezoidalny obszar pod tą krzywą to różne obliczenia, które należy wyraźnie nazwać.
Głębokie nurkowanie
Precyzja pyta, ile wybranych przypadków jest pozytywnych. Recall pyta, ile ze wszystkich pozytywnych przypadków zostało wybranych. W miarę obniżania się progu punktacji modelu do wybranego zestawu trafia więcej przypadków. Przywołanie nie może się zmniejszyć wraz z obniżeniem progu, ale precyzja może wzrosnąć lub spaść w zależności od nowo uwzględnionych przypadków. Krzywa precyzji przypominania śledzi ten kompromis. Jest to szczególnie pouczające w przypadku rzadkich klas pozytywnych, ponieważ bezpośrednio pokazuje, ile wybranych elementów to fałszywe alarmy. Krzywa charakterystyki działania odbiornika odpowiada na inne pytanie przy użyciu współczynnika wyników fałszywie dodatnich, którego mianownik obejmuje wszystkie rzeczywiste wartości ujemne. Żaden z tych poglądów nie eliminuje potrzeby uwzględniania rzeczywistych kosztów decyzji. Średnia precyzja podsumowuje relację precyzja-przypomnienie poprzez ważenie wartości precyzji odpowiednim wzrostem przypominania. W prostym rankingu bez remisowych wyników jest to średnia precyzja w szeregach zajmowanych przez przypadki pozytywne. Załóżmy, że tylko dwa pozytywy pojawiają się jako pierwszy i trzeci. Dokładność w tych pozycjach wynosi jedną i dwie trzecie, więc średnia precyzja wynosi około 0,833. Etykieta PR-AUC może być niejednoznaczna. Niektóre raporty oznaczają trapezoidalną integrację precyzji z wycofaniem; inni używają go luźno, aby uzyskać średnią precyzję. Scikit-learn odróżnia średni_precision_score od auc, który stosuje regułę trapezu. Wartości te mogą się różnić, ponieważ założenia dotyczące interpolacji są różne. Podaj faktyczne obliczenia. Precyzja zależy od częstości występowania wyników pozytywnych w ocenianej populacji. Wynik zrównoważonej próbki może nie opisywać ustawienia wdrożenia, w którym pozytywne wyniki są rzadkie. Zgłoś ułamek dodatni i projekt oceny. Wreszcie podsumowanie obejmujące progi nie wybiera progu operacyjnego. Sprawdź precyzję, przypominanie sobie i obciążenie pracą w momencie, w którym model będzie faktycznie używany.
Wpływ strategiczny
Koszt i budżet
Decyzje dotyczące architektury wpływają na wydajność i koszty operacyjne przez lata.
Jaśniejsze decyzje
Edukacja techniczna pomaga zespołom wybrać odpowiedni stos, a nie tylko najnowszy.
Kontrola jakości
Lepsze wybory inżynieryjne zmniejszają liczbę incydentów związanych z niezawodnością w produkcji.
Przyszłość średniej precyzji i PR-AUC
Panele ewaluacyjne mogą sprawić, że metryki rankingowe staną się jaśniejsze, pokazując dodatnią częstość występowania, dokładne obliczenie obszaru i praktyczne punkty operacyjne obok podsumowującego wyniku. Zespołowi recenzującemu może najbardziej zależeć na tym, ile przydatnych przypadków pojawi się w ramach ustalonej dziennej wydajności, podczas gdy inny zespół może wymagać minimalnego wycofania. Zachowanie przewidywań i etykiet pozwala na ponowne rozważenie tych kwestii bez zmiany modelu. W miarę przesuwania się populacji zespoły powinny ponownie ocenić kompromis na podstawie reprezentatywnych danych, zamiast zakładać, że wcześniejszy wynik o średniej precyzji gwarantuje to samo przyszłe obciążenie pracą i przydatność.
Implementacja w świecie rzeczywistym
Kolejka recenzji zawiera wiele zwykłych pozycji i kilka istotnych. Krzywa precyzji zapamiętania pokazuje kompromis pomiędzy znalezieniem bardziej odpowiednich pozycji a proszeniem recenzentów o sprawdzenie tych nieistotnych.
W hipotetycznym rankingu bez remisowych wyników dwa pozytywne przypadki pojawiają się na pierwszym i trzecim miejscu. Precyzja w tych pozycjach wynosi 1 i dwie trzecie, więc średnia precyzja wynosi około 0,833.
Zespół wykorzystuje średni wynik_precision_score scikit-learn w etykietach i wynikach prognoz. Rejestruje, które zajęcia uznano za pozytywne i pozwala uniknąć zastępowania ocen trudnymi decyzjami przed oceną.
Dwa zbiory danych ewaluacyjnych zawierają różne proporcje przypadków pozytywnych. Analityk zgłasza te proporcje przed porównaniem wyników dotyczących precyzji, ponieważ częstość występowania zmienia sposób interpretacji precyzji.
Zagrożenia i poręcze
Optymalizacja jednego testu porównawczego może ukryć szersze słabości systemu.
Koszty infrastruktury i utrzymania są często niedoszacowane.
W miarę jak systemy stają się coraz bardziej złożone, luki w bezpieczeństwie i obserwowalności mogą się zwiększać.
Plan wdrożenia
Przed wdrożeniem zdefiniuj docelowe opóźnienia, jakość i koszty.
Test porównawczy w realistycznych warunkach obciążenia i danych.
Monitorowanie przyrządu pod kątem błędów, dryftu i wpływu użytkownika.
Przed skalowaniem przygotuj ścieżki wycofywania zmian i reakcji na incydenty.
Odkrywaj dalej
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Average Precision and PR-AUC quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Często zadawane pytania
Co to jest średnia precyzja i PR-AUC?
Średnia precyzja podsumowuje precyzję modelu w miarę wzrostu przypominania w przypadku progów decyzyjnych. Krzywe przypomnienia precyzji są przydatne, gdy przypadki dodatnie są rzadkie, ale średnia precyzja i trapezoidalny obszar pod tą krzywą to różne obliczenia, które należy wyraźnie nazwać.
Jaką ilość mierzy precyzja dla wybranej kolejki recenzji?
Precyzja mierzy czystość wybranego zestawu; wycofanie mierzy odsetek wszystkich znalezionych pozytywów.
W rankingu bez remisowych wyników jedynymi pozytywami są pierwsze i trzecie miejsce. Jaka średnia precyzja następuje?
Precyzja wynosi jeden przy pierwszym dodatnim i dwie trzecie przy drugim. Ich średnia wynosi pięć szóstych, około 0,833.
Dlaczego trapezoidalny PR-AUC może różnić się od średniej precyzji?
Średnia precyzja waży precyzję poprzez przyrosty przypominania, podczas gdy całkowanie trapezowe łączy punkty krzywej przy użyciu innej konstrukcji obszaru.
Które dane wejściowe zachowują informacje rankingowe potrzebne do uzyskania średniej precyzji?
Wyniki umożliwiają ocenę ponad progami. Twarde decyzje zachowują tylko jeden punkt operacyjny i odrzucają większość informacji rankingowych.
Dwa zbiory danych charakteryzują się bardzo różną częstością występowania w klasie pozytywnej. Co powinno towarzyszyć porównaniu ich wyników w zakresie precyzji zapamiętywania?
Precyzja zależy od częstości występowania klasy, zatem populacje i schematy pobierania próbek są niezbędnym kontekstem.
Ucz się dalej
Powiązane przewodniki
Wybrano więcej przewodników na ten temat