Il prossimoProssima guida
Test di richiamo, precisione ed elusione nella revisione dei documenti
Tecnico
GUIDA TECNICA
La precisione media riassume la precisione di un modello man mano che il richiamo aumenta oltre le soglie decisionali.
Ascolta questa guidaNarrato dall'IA · ~3 min
Le curve di richiamo di precisione sono utili quando i casi positivi sono rari, ma la precisione media e un’area trapezoidale sotto quella curva sono calcoli diversi che dovrebbero essere nominati chiaramente.
La precisione chiede quanti casi selezionati sono positivi. Il richiamo chiede quanti di tutti i casi positivi sono stati selezionati. Quando la soglia del punteggio di un modello viene abbassata, più casi entrano nel set selezionato. Il ricordo non può diminuire quando la soglia viene abbassata, ma la precisione può aumentare o diminuire a seconda dei casi appena inclusi. Una curva di richiamo di precisione traccia questo compromesso. È particolarmente informativo per una classe positiva rara perché espone direttamente quanti elementi selezionati sono falsi allarmi. Una curva caratteristica operativa del ricevitore risponde a una domanda diversa utilizzando il tasso di falsi positivi, il cui denominatore include tutti i negativi effettivi. Nessuna delle due visioni elimina la necessità di considerare i costi reali delle decisioni. La precisione media riassume la relazione precisione-richiamo ponderando i valori di precisione in base agli aumenti corrispondenti nel richiamo. In una classifica semplice senza parità di punteggio, equivale alla precisione media nelle file occupate dai casi positivi. Supponiamo che gli unici due positivi appaiano primo e terzo. La precisione in quelle posizioni è di uno e due terzi, quindi la precisione media è di circa 0,833. L'etichetta PR-AUC può essere ambigua. Alcuni rapporti indicano l'integrazione trapezoidale della precisione contro il richiamo; altri lo usano liberamente per una precisione media. Scikit-learn distingue Average_precision_score da auc, che applica la regola trapezoidale. Questi valori possono differire perché differiscono i presupposti dell'interpolazione. Indicare il calcolo effettivo. La precisione dipende dalla prevalenza dei positivi nella popolazione valutata. Un punteggio ottenuto da un campione equilibrato potrebbe non descrivere un contesto di implementazione in cui i positivi sono rari. Riportare la frazione positiva e il disegno di valutazione. Infine, la sintesi tra soglie non seleziona una soglia operativa. Ispezionare la precisione, il richiamo e il carico di lavoro nel punto in cui verrà effettivamente utilizzato il modello.
Una coda di revisione contiene molti elementi ordinari e alcuni rilevanti. Una curva di richiamo di precisione mostra il compromesso tra la ricerca di elementi più rilevanti e la richiesta ai revisori di esaminare quelli più irrilevanti.
In un'ipotetica classifica senza parità di punteggio, i due casi positivi figurano al primo e al terzo posto. La precisione in quelle posizioni è 1 e due terzi, quindi la precisione media è di circa 0,833.
Un team utilizza Average_precision_score di scikit-learn su etichette e punteggi di previsione. Registra quale classe conta come positiva ed evita di sostituire i punteggi con decisioni difficili prima della valutazione.
Due set di dati di valutazione contengono proporzioni diverse di casi positivi. Un analista riporta tali proporzioni prima di confrontare i risultati del richiamo di precisione, poiché la prevalenza cambia il modo in cui la precisione dovrebbe essere interpretata.
I dashboard di valutazione possono rendere più chiari i parametri di classificazione mostrando la prevalenza positiva, il calcolo esatto dell’area e i punti operativi pratici accanto al punteggio riassuntivo. Un team di revisione potrebbe preoccuparsi maggiormente del numero di casi utili che compaiono entro una capacità giornaliera fissa, mentre un altro team potrebbe aver bisogno di un richiamo minimo. La conservazione delle previsioni e delle etichette consente di rivisitare tali domande senza modificare il modello. Man mano che le popolazioni cambiano, i team dovrebbero rivalutare il compromesso sui dati rappresentativi piuttosto che presumere che un risultato precedente di precisione media garantisca lo stesso carico di lavoro o utilità futuri.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
La precisione media riassume la precisione di un modello man mano che il richiamo aumenta oltre le soglie decisionali. Le curve di richiamo di precisione sono utili quando i casi positivi sono rari, ma la precisione media e un’area trapezoidale sotto quella curva sono calcoli diversi che dovrebbero essere nominati chiaramente.
Precision misura la purezza del set selezionato; il richiamo misura la quota di tutti i positivi riscontrati.
La precisione è positiva di uno al primo e di due terzi al secondo. La loro media è di cinque sesti, circa 0,833.
La precisione media pondera la precisione in base agli incrementi di richiamo, mentre l'integrazione trapezoidale collega i punti della curva utilizzando una costruzione dell'area diversa.
I punteggi consentono la valutazione attraverso le soglie. Le decisioni difficili mantengono solo un punto operativo e scartano la maggior parte delle informazioni sulla classifica.
La precisione dipende dalla prevalenza della classe, quindi le popolazioni e gli schemi di campionamento costituiscono un contesto necessario.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Test di richiamo, precisione ed elusione nella revisione dei documenti
Tecnico