Il prossimoProssima guida
Valutare i sistemi di raccomandazione: NDCG, Hit Rate e altro
Tecnico
GUIDA TECNICA
Le metriche di classificazione valutano l'ordine degli articoli anziché solo la correttezza delle singole etichette.
Ascolta questa guidaNarrato dall'IA · ~3 min
Precision@k,call@k, MAP, MRR e il guadagno cumulativo scontato normalizzato enfatizzano aspetti diversi, quindi la scelta della metrica dovrebbe corrispondere al compito di classificazione e ai suoi giudizi di rilevanza.
I sistemi di classificazione ordinano i candidati per un utente o una query. La valutazione dovrebbe riflettere dove compaiono i risultati rilevanti e come viene definita la pertinenza. La precisione a k è la frazione dei primi k risultati giudicati rilevanti. Il richiamo in k è la frazione di tutti i candidati rilevanti recuperati nella parte superiore k. La precisione enfatizza la qualità del set visualizzato; il ricordo sottolinea quanta parte del set rilevante è stata trovata. La precisione media riepiloga la precisione nei ranghi in cui si verificano gli elementi rilevanti e la precisione media media (MAP) calcola la media del valore tra le query. Il rango reciproco medio (MRR) utilizza il reciproco del rango del primo risultato rilevante e le medie tra le query. L'MRR è utile quando trovare rapidamente un buon risultato è la priorità, ma ignora in gran parte la qualità delle classifiche successive. Il guadagno cumulativo scontato (DCG) supporta la pertinenza graduata. Una funzione di guadagno assegna un valore maggiore agli elementi più rilevanti, mentre uno sconto logaritmico riduce il credito per gli elementi più in basso nell'elenco. Il DCG normalizzato divide il DCG di una classifica per il DCG ideale per quella query, assegnando un punteggio generalmente compreso tra zero e uno quando le definizioni si allineano. Questa normalizzazione rende i valori più comparabili tra query con diverse distribuzioni di pertinenza, ma le scelte di aggregazione continuano a essere importanti. Supponiamo che una query contenga un elemento altamente pertinente e un altro elemento leggermente pertinente. Posizionare il risultato altamente rilevante per primo produce più DCG che posizionarlo per secondo. NDCG cattura sia la pertinenza classificata che la posizione in classifica. Non stabilisce se le etichette di rilevanza siano imparziali o se il processo di generazione dei candidati abbia omesso elementi utili. Le metriche possono cambiare con il limite k, la formula del guadagno e la soglia dell'etichetta. Segnala queste scelte e valutale nello stesso set di query. Inoltre, le metriche offline non catturano completamente la soddisfazione degli utenti, la diversità, la freschezza, i bias di esposizione o i risultati a lungo termine. Usali insieme a esperimenti online o revisioni umane quando appropriato, evitando al tempo stesso di affermare che un punteggio più alto da solo dimostri una migliore esperienza utente.
Un elenco di risultati di ricerca contiene cinque elementi e due sono pertinenti. La precisione@5 è 2/5, mentre il richiamo@5 dipende da quanti elementi rilevanti esistono nell'intero set di candidati.
Un utente ha tre elementi rilevanti e un sistema ne recupera due tra i primi cinque. Recall@5 è 2/3 anche se precisione@5 è 2/5; le misure rispondono a domande diverse.
Per quanto riguarda la pertinenza graduata, DCG premia maggiormente gli elementi altamente rilevanti quando appaiono in alto, utilizzando un guadagno e uno sconto in classifica logaritmica. NDCG divide per il DCG ideale per la stessa query per normalizzare la scala.
Un team di raccomandazione segnala l'MRR quando il primo risultato rilevante conta di più e l'NDCG quando contano più elementi e la pertinenza classificata nell'elenco.
I report di classificazione possono migliorare visualizzando le metriche principali, le definizioni di pertinenza e le distribuzioni per query anziché un numero aggregato. I team dovrebbero scegliere MAP, MRR o NDCG in base al fatto che l'attività valuti tutti i risultati rilevanti, il primo risultato utile o la qualità classificata nell'elenco. Dovrebbero verificare i giudizi di pertinenza e l’esposizione dei candidati, poiché le metriche non possono premiare gli elementi mai recuperati per la valutazione. I controlli sulla soddisfazione umana e sulla diversità possono integrare i punteggi offline. Man mano che gli obiettivi di classificazione evolvono, preserva definizioni storiche coerenti in modo che i confronti delle tendenze rimangano significativi.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Le metriche di classificazione valutano l'ordine degli articoli anziché solo la correttezza delle singole etichette. Precision@k,call@k, MAP, MRR e il guadagno cumulativo scontato normalizzato enfatizzano aspetti diversi, quindi la scelta della metrica dovrebbe corrispondere al compito di classificazione e ai suoi giudizi di rilevanza.
Precision@k divide i risultati rilevanti nella parte superiore k per k, quindi è 2/5.
Il richiamo divide gli elementi rilevanti recuperati per l'insieme rilevante totale: 2/3.
L'MRR calcola la media del rango reciproco del primo risultato rilevante.
NDCG confronta l'ordine osservato con un ordinamento ideale per la stessa query.
L'MRR è determinato dal primo rango rilevante ed è utile quando conta un risultato utile iniziale.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Valutare i sistemi di raccomandazione: NDCG, Hit Rate e altro
Tecnico