VolgendeVolgende gids
Recall-, precisie- en ontwijkingstests bij documentbeoordeling
Technisch
Technische GIDS
De gemiddelde precisie vat de precisie van een model samen naarmate de herinnering toeneemt over de beslissingsdrempels heen.
Luister naar deze gidsAI-verteld · ~3 min
Precisie-herinneringscurven zijn nuttig wanneer positieve gevallen zeldzaam zijn, maar gemiddelde precisie en een trapeziumvormig gebied onder die curve zijn verschillende berekeningen die duidelijk moeten worden benoemd.
Precision vraagt hoeveel geselecteerde gevallen positief zijn. Recall vraagt hoeveel van alle positieve gevallen zijn geselecteerd. Naarmate de scoredrempel van een model wordt verlaagd, komen meer cases in de geselecteerde set terecht. De herinnering kan niet afnemen naarmate de drempel wordt verlaagd, maar de nauwkeurigheid kan stijgen of dalen, afhankelijk van de nieuw opgenomen gevallen. Een precisie-recall-curve volgt deze afweging. Het is vooral informatief voor een zeldzame positieve klasse, omdat het direct laat zien hoeveel geselecteerde items vals alarm zijn. Een karakteristieke curve van een ontvanger beantwoordt een andere vraag met behulp van het fout-positieve percentage, waarvan de noemer alle werkelijke negatieven omvat. Geen van beide visies neemt de noodzaak weg om rekening te houden met de werkelijke beslissingskosten. De gemiddelde precisie vat de relatie tussen precisie en herinnering samen door precisiewaarden te wegen op basis van de overeenkomstige toename in herinnering. In een eenvoudige rangschikking zonder gelijke scores is deze gelijk aan de gemiddelde precisie in de rangschikkingen die worden ingenomen door positieve gevallen. Stel dat de enige twee positieve punten als eerste en als derde verschijnen. De nauwkeurigheid op die posities bedraagt één en tweederde, dus de gemiddelde nauwkeurigheid is ongeveer 0,833. Het label PR-AUC kan dubbelzinnig zijn. Sommige rapporten betekenen een trapeziumvormige integratie van precisie tegen terugroepen; anderen gebruiken het losjes voor gemiddelde precisie. Scikit-learn maakt onderscheid tussen de gemiddelde_precisie_score en auc, waarbij de trapeziumregel wordt toegepast. Deze waarden kunnen verschillen omdat de interpolatieaannames verschillen. Geef de daadwerkelijke berekening weer. De nauwkeurigheid hangt af van de prevalentie van positieve resultaten in de evaluatiepopulatie. Een score uit een evenwichtige steekproef beschrijft mogelijk niet een implementatieomgeving waarin positieve resultaten zeldzaam zijn. Rapporteer de positieve breuk en het evaluatieontwerp. Ten slotte selecteert een samenvatting over drempels geen operationele drempel. Inspecteer de nauwkeurigheid, terugroepactie en werklast op het punt waar het model daadwerkelijk zal worden gebruikt.
Een beoordelingswachtrij bevat veel gewone items en enkele relevante items. Een precisie-herinneringscurve toont de afweging tussen het vinden van relevantere items en het vragen van reviewers om meer irrelevante items te inspecteren.
In een hypothetische rangschikking zonder gelijke scores verschijnen de twee positieve gevallen op de eerste en derde plaats. De precisie op die posities is 1 en tweederde, dus de gemiddelde precisie is ongeveer 0,833.
Een team gebruikt de gemiddelde_precisie_score van scikit-learn op labels en voorspellingsscores. Het registreert welke klasse als positief telt en vermijdt dat de scores worden vervangen door harde beslissingen vóór de evaluatie.
Twee evaluatiedatasets bevatten verschillende percentages positieve gevallen. Een analist rapporteert deze verhoudingen voordat hij de precisie-recall-resultaten vergelijkt, omdat de prevalentie verandert hoe precisie moet worden geïnterpreteerd.
Evaluatiedashboards kunnen rangschikkingsstatistieken duidelijker maken door naast de samenvattende score de positieve prevalentie, exacte gebiedsberekening en praktische werkingspunten weer te geven. Het ene beoordelingsteam kan zich het meeste zorgen maken over het aantal nuttige gevallen dat zich binnen een vaste dagelijkse capaciteit voordoet, terwijl een ander team wellicht een minimale terugroepactie nodig heeft. Door voorspellingen en labels te behouden, kunnen deze vragen opnieuw worden bekeken zonder het model te wijzigen. Naarmate populaties verschuiven, moeten teams de afweging op basis van representatieve gegevens opnieuw evalueren in plaats van aan te nemen dat een eerder resultaat met gemiddelde nauwkeurigheid dezelfde toekomstige werklast of bruikbaarheid garandeert.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
De gemiddelde precisie vat de precisie van een model samen naarmate de herinnering toeneemt over de beslissingsdrempels heen. Precisie-herinneringscurven zijn nuttig wanneer positieve gevallen zeldzaam zijn, maar gemiddelde precisie en een trapeziumvormig gebied onder die curve zijn verschillende berekeningen die duidelijk moeten worden benoemd.
Precisie meet de zuiverheid van de geselecteerde set; Recall meet het aandeel van alle gevonden positieven.
De precisie is één bij de eerste positieve en tweederde bij de tweede. Hun gemiddelde is vijf zesde, ongeveer 0,833.
Gemiddelde precisie weegt precisie op basis van terugroepstappen, terwijl trapeziumvormige integratie curvepunten verbindt met behulp van een andere gebiedsconstructie.
Scores maken evaluatie over drempels heen mogelijk. Moeilijke beslissingen behouden slechts één uitgangspunt en negeren de meeste ranking-informatie.
De nauwkeurigheid hangt af van de klassenprevalentie, dus de populaties en steekproefschema's zijn een noodzakelijke context.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
Recall-, precisie- en ontwijkingstests bij documentbeoordeling
Technisch