Technische GIDS

Gemiddelde precisie en PR-AUC

De gemiddelde precisie vat de precisie van een model samen naarmate de herinnering toeneemt over de beslissingsdrempels heen.

Luister naar deze gidsAI-verteld · ~3 min

Op deze pagina3 minuten lezen
  1. Overzicht
  2. Diepe duik
  3. Implementatie in de echte wereld
  4. De toekomst van gemiddelde precisie en PR-AUC
  5. Het in de praktijk brengen
  6. Blijf verkennen
  7. Veelgestelde vragen

Overzicht

Precisie-herinneringscurven zijn nuttig wanneer positieve gevallen zeldzaam zijn, maar gemiddelde precisie en een trapeziumvormig gebied onder die curve zijn verschillende berekeningen die duidelijk moeten worden benoemd.

Diepe duik

Precision vraagt ​​hoeveel geselecteerde gevallen positief zijn. Recall vraagt ​​hoeveel van alle positieve gevallen zijn geselecteerd. Naarmate de scoredrempel van een model wordt verlaagd, komen meer cases in de geselecteerde set terecht. De herinnering kan niet afnemen naarmate de drempel wordt verlaagd, maar de nauwkeurigheid kan stijgen of dalen, afhankelijk van de nieuw opgenomen gevallen. Een precisie-recall-curve volgt deze afweging. Het is vooral informatief voor een zeldzame positieve klasse, omdat het direct laat zien hoeveel geselecteerde items vals alarm zijn. Een karakteristieke curve van een ontvanger beantwoordt een andere vraag met behulp van het fout-positieve percentage, waarvan de noemer alle werkelijke negatieven omvat. Geen van beide visies neemt de noodzaak weg om rekening te houden met de werkelijke beslissingskosten. De gemiddelde precisie vat de relatie tussen precisie en herinnering samen door precisiewaarden te wegen op basis van de overeenkomstige toename in herinnering. In een eenvoudige rangschikking zonder gelijke scores is deze gelijk aan de gemiddelde precisie in de rangschikkingen die worden ingenomen door positieve gevallen. Stel dat de enige twee positieve punten als eerste en als derde verschijnen. De nauwkeurigheid op die posities bedraagt ​​één en tweederde, dus de gemiddelde nauwkeurigheid is ongeveer 0,833. Het label PR-AUC kan dubbelzinnig zijn. Sommige rapporten betekenen een trapeziumvormige integratie van precisie tegen terugroepen; anderen gebruiken het losjes voor gemiddelde precisie. Scikit-learn maakt onderscheid tussen de gemiddelde_precisie_score en auc, waarbij de trapeziumregel wordt toegepast. Deze waarden kunnen verschillen omdat de interpolatieaannames verschillen. Geef de daadwerkelijke berekening weer. De nauwkeurigheid hangt af van de prevalentie van positieve resultaten in de evaluatiepopulatie. Een score uit een evenwichtige steekproef beschrijft mogelijk niet een implementatieomgeving waarin positieve resultaten zeldzaam zijn. Rapporteer de positieve breuk en het evaluatieontwerp. Ten slotte selecteert een samenvatting over drempels geen operationele drempel. Inspecteer de nauwkeurigheid, terugroepactie en werklast op het punt waar het model daadwerkelijk zal worden gebruikt.

Implementatie in de echte wereld

Een beoordelingswachtrij bevat veel gewone items en enkele relevante items. Een precisie-herinneringscurve toont de afweging tussen het vinden van relevantere items en het vragen van reviewers om meer irrelevante items te inspecteren.

In een hypothetische rangschikking zonder gelijke scores verschijnen de twee positieve gevallen op de eerste en derde plaats. De precisie op die posities is 1 en tweederde, dus de gemiddelde precisie is ongeveer 0,833.

Een team gebruikt de gemiddelde_precisie_score van scikit-learn op labels en voorspellingsscores. Het registreert welke klasse als positief telt en vermijdt dat de scores worden vervangen door harde beslissingen vóór de evaluatie.

Twee evaluatiedatasets bevatten verschillende percentages positieve gevallen. Een analist rapporteert deze verhoudingen voordat hij de precisie-recall-resultaten vergelijkt, omdat de prevalentie verandert hoe precisie moet worden geïnterpreteerd.

De toekomst van gemiddelde precisie en PR-AUC

Evaluatiedashboards kunnen rangschikkingsstatistieken duidelijker maken door naast de samenvattende score de positieve prevalentie, exacte gebiedsberekening en praktische werkingspunten weer te geven. Het ene beoordelingsteam kan zich het meeste zorgen maken over het aantal nuttige gevallen dat zich binnen een vaste dagelijkse capaciteit voordoet, terwijl een ander team wellicht een minimale terugroepactie nodig heeft. Door voorspellingen en labels te behouden, kunnen deze vragen opnieuw worden bekeken zonder het model te wijzigen. Naarmate populaties verschuiven, moeten teams de afweging op basis van representatieve gegevens opnieuw evalueren in plaats van aan te nemen dat een eerder resultaat met gemiddelde nauwkeurigheid dezelfde toekomstige werklast of bruikbaarheid garandeert.

Het in de praktijk brengen

Waarom het ertoe doet

  • Kosten en budget. Architectuurbeslissingen bepalen jarenlang de prestaties en bedrijfskosten.
  • Duidelijkere beslissingen. Technisch onderwijs helpt teams bij het kiezen van de juiste stapel, niet alleen de nieuwste.
  • Kwaliteitscontrole. Betere technische keuzes verminderen het aantal betrouwbaarheidsincidenten in de productie.

Pas op voor

  • Het optimaliseren van één benchmark kan bredere systeemzwakheden verbergen.
  • Infrastructuur- en onderhoudskosten worden vaak onderschat.
  • De lacunes op het gebied van beveiliging en waarneembaarheid kunnen groter worden naarmate systemen complexer worden.

Volgende stappen

  1. Definieer latentie-, kwaliteits- en kostendoelen vóór implementatie.
  2. Benchmark onder realistische belasting- en gegevensomstandigheden.
  3. Instrumentbewaking op fouten, drift en gebruikersimpact.
  4. Bereid rollback- en incidentresponspaden voor voordat u gaat schalen.

Blijf verkennen

Gratis nieuwsbrief

Ontvang de dagelijkse AI-briefing

Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.

Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.

Test jezelf

Take the Average Precision and PR-AUC quiz

Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.

Quiz starten

Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie

Veelgestelde vragen

Wat is gemiddelde precisie en PR-AUC?

De gemiddelde precisie vat de precisie van een model samen naarmate de herinnering toeneemt over de beslissingsdrempels heen. Precisie-herinneringscurven zijn nuttig wanneer positieve gevallen zeldzaam zijn, maar gemiddelde precisie en een trapeziumvormig gebied onder die curve zijn verschillende berekeningen die duidelijk moeten worden benoemd.

Welke hoeveelheid meet precisie voor een geselecteerde beoordelingswachtrij?

Precisie meet de zuiverheid van de geselecteerde set; Recall meet het aandeel van alle gevonden positieven.

In een ranglijst zonder gelijke scores zijn de enige positieve punten de eerste en de derde. Welke gemiddelde nauwkeurigheid volgt?

De precisie is één bij de eerste positieve en tweederde bij de tweede. Hun gemiddelde is vijf zesde, ongeveer 0,833.

Waarom kan de trapeziumvormige PR-AUC afwijken van de gemiddelde nauwkeurigheid?

Gemiddelde precisie weegt precisie op basis van terugroepstappen, terwijl trapeziumvormige integratie curvepunten verbindt met behulp van een andere gebiedsconstructie.

Welke invoergegevens behouden de rangschikkingsinformatie die nodig is voor gemiddelde nauwkeurigheid?

Scores maken evaluatie over drempels heen mogelijk. Moeilijke beslissingen behouden slechts één uitgangspunt en negeren de meeste ranking-informatie.

Twee datasets hebben een zeer verschillende prevalentie in de positieve klasse. Wat moet er gepaard gaan met een vergelijking van hun precisie-herinneringsscores?

De nauwkeurigheid hangt af van de klassenprevalentie, dus de populaties en steekproefschema's zijn een noodzakelijke context.