Mai departeUrmătorul ghid
FP8 și formate cu precizie redusă
Tehnic
GHID tehnic
Precizie medie și PR-AUC
Precizia medie rezumă precizia unui model pe măsură ce reamintirea crește peste pragurile de decizie.
Pe această pagină3 minute de citit
Prezentare generală
Curbele de precizie-rechemare sunt utile atunci când cazurile pozitive sunt rare, dar precizia medie și o zonă trapezoidală sub acea curbă sunt calcule diferite care ar trebui denumite clar.
Scufundare în profunzime
Precizia întreabă câte cazuri selectate sunt pozitive. Recall întreabă câte dintre toate cazurile pozitive au fost selectate. Pe măsură ce pragul de scor al unui model este redus, mai multe cazuri intră în setul selectat. Rememorarea nu poate scădea pe măsură ce pragul este coborât, dar precizia poate crește sau scădea în funcție de cazurile nou incluse. O curbă de precizie-rechemare urmărește acest compromis. Este deosebit de informativ pentru o clasă pozitivă rară, deoarece expune direct câte elemente selectate sunt alarme false. O curbă caracteristică de funcționare a receptorului răspunde la o întrebare diferită folosind rata fals-pozitive, al cărei numitor include toate negativele reale. Niciuna dintre punctele de vedere nu înlătură necesitatea de a lua în considerare costurile reale ale deciziilor. Precizia medie rezumă relația precizie-rechemare prin ponderarea valorilor de precizie cu creșterile corespunzătoare ale reamintirii. Într-un clasament simplu fără scoruri egale, este egală cu precizia medie la rândurile ocupate de cazuri pozitive. Să presupunem că singurele două pozitive apar primul și al treilea. Preciziile la acele poziții sunt de una și două treimi, deci precizia medie este de aproximativ 0,833. Eticheta PR-AUC poate fi ambiguă. Unele rapoarte înseamnă integrarea trapezoidală a preciziei împotriva retragerii; alții îl folosesc în mod liber pentru o precizie medie. Scikit-learn distinge average_precision_score de auc, care aplică regula trapezoidală. Aceste valori pot diferi deoarece ipotezele de interpolare diferă. Precizați calculul efectiv. Precizia depinde de prevalența pozitivelor în populația evaluată. Este posibil ca un scor dintr-un eșantion echilibrat să nu descrie o setare de implementare în care elementele pozitive sunt rare. Raportați fracția pozitivă și proiectul de evaluare. În cele din urmă, un rezumat între praguri nu selectează un prag de funcționare. Inspectați precizia, rechemarea și volumul de lucru în punctul în care modelul va fi utilizat efectiv.
Impact strategic
Cost și buget
Deciziile de arhitectură generează performanța și costurile de operare de ani de zile.
Decizii mai clare
Educația tehnică ajută echipele să aleagă stiva potrivită, nu doar cea mai nouă.
Controlul calității
Opțiuni de inginerie mai bune reduc incidentele de fiabilitate în producție.
Viitorul preciziei medii și PR-AUC
Tablourile de bord de evaluare pot clarifica valorile de clasare, arătând prevalența pozitivă, calculul exact al zonei și punctele practice de operare lângă scorul rezumat. O echipă de examinare poate să-i pese cel mai mult de câte cazuri utile apar într-o capacitate zilnică fixă, în timp ce o altă echipă poate avea nevoie de o retragere minimă. Păstrarea predicțiilor și a etichetelor permite ca acele întrebări să fie revizuite fără a schimba modelul. Pe măsură ce populația se schimbă, echipele ar trebui să reevalueze compromisul pe date reprezentative, mai degrabă decât să presupună că un rezultat anterior de precizie medie garantează aceeași sarcină de lucru sau utilitate viitoare.
Implementare în lumea reală
O coadă de examinare conține multe articole obișnuite și câteva relevante. O curbă de precizie-rechemare arată compromisul dintre găsirea de articole mai relevante și solicitarea recenzenților să le inspecteze pe altele mai irelevante.
Într-un clasament ipotetic fără scoruri egale, cele două cazuri pozitive apar primul și al treilea. Precizia la acele poziții este de 1 și două treimi, deci precizia medie este de aproximativ 0,833.
O echipă folosește scorul average_precision_score al lui scikit-learn pe etichete și scoruri de predicție. Înregistrează care clasă este considerată pozitivă și evită înlocuirea scorurilor cu decizii grele înainte de evaluare.
Două seturi de date de evaluare conțin proporții diferite de cazuri pozitive. Un analist raportează acele proporții înainte de a compara rezultatele de reamintire a preciziei, deoarece prevalența schimbă modul în care precizia trebuie interpretată.
Riscuri și balustrade
Optimizarea unui punct de referință poate ascunde slăbiciunile mai largi ale sistemului.
Costurile de infrastructură și întreținere sunt adesea subestimate.
Lacunele de securitate și observabilitate pot crește pe măsură ce sistemele devin mai complexe.
Foaia de parcurs de implementare
Definiți obiectivele de latență, calitate și cost înainte de implementare.
Benchmark în condiții realiste de încărcare și date.
Monitorizarea instrumentelor pentru erori, deriva și impactul utilizatorului.
Pregătiți căile de retragere și răspuns la incident înainte de scalare.
Continuați să explorați
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Average Precision and PR-AUC quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Întrebări frecvente
Ce este Precizia medie și PR-AUC?
Precizia medie rezumă precizia unui model pe măsură ce reamintirea crește peste pragurile de decizie. Curbele de precizie-rechemare sunt utile atunci când cazurile pozitive sunt rare, dar precizia medie și o zonă trapezoidală sub acea curbă sunt calcule diferite care ar trebui denumite clar.
Ce cantitate măsoară precizia pentru o coadă de recenzii selectată?
Precizia măsoară puritatea setului selectat; recall măsoară ponderea tuturor elementelor pozitive care au fost găsite.
Într-un clasament fără scoruri egale, singurele pozitive sunt primul și al treilea. Care precizie medie urmează?
Precizia este de unu la primul pozitiv și de două treimi la al doilea. Media lor este de cinci șesime, aproximativ 0,833.
De ce poate PR-AUC trapezoidal să difere de precizia medie?
Precizia medie cântărește precizia prin incremente de reamintire, în timp ce integrarea trapezoidală conectează punctele curbei folosind o construcție diferită a zonei.
Ce intrări păstrează informațiile de clasare necesare pentru precizia medie?
Scorurile permit evaluarea peste praguri. Deciziile grele păstrează un singur punct de operare și elimină majoritatea informațiilor de clasare.
Două seturi de date au o prevalență foarte diferită a clasei pozitive. Ce ar trebui să însoțească o comparație a scorurilor lor de precizie-reamintire?
Precizia depinde de prevalența clasei, astfel încât populațiile și schemele de eșantionare sunt contextul necesar.
Continuați să învățați
Ghiduri conexe
Mai multe ghiduri alese pentru acest subiect