KL Divergenza

Per distribuzioni discrete p e q sugli stessi risultati, la divergenza KL è D_KL(p||q) = somma sui risultati p(x) log(p(x)/q(x)). Confronta q con un riferimento p, ponderando ciascun rapporto logaritmico in base alla frequenza con cui il risultato si verifica sotto p. Nella teoria dell'informazione, può essere interpretato come un costo aggiuntivo di codifica previsto quando un codice è ottimizzato per q ma la distribuzione reale è p. La base logaritmica imposta l'unità: i logaritmi naturali danno nat e la base due dà bit. La divergenza KL non è negativa ed è uguale a zero quando le distribuzioni corrispondono su risultati con probabilità positiva sotto p, fatte salve considerazioni di supporto. È asimmetrico: D_KL(p||q) generalmente non è D_KL(q||p). Ciò lo rende inadatto come distanza geometrica convenzionale. La direzione è importante in applicazioni come l'inferenza variazionale, dove una distribuzione viene trattata come un obiettivo e un'altra come un'approssimazione. Nell'esempio della moneta equa rispetto a quella distorta, p=(0,5,0,5) e q=(0,9,0,1). I contributi con valori in bit sono 0,5 log2(0,5/0,9), circa -0,424 e 0,5 log2(0,5/0,1), circa 1,161. La loro somma è di circa 0,737 bit. Sono consentiti termini individuali negativi anche se la divergenza totale non è negativa. L'inversione di p e q produce un valore diverso perché cambiano anche i pesi. Le mancate corrispondenze del supporto sono importanti. Se p assegna una probabilità positiva a un risultato in cui q assegna zero, la corrispondente divergenza diretta è infinita. Se entrambi assegnano zero, quel risultato contribuisce per convenzione con zero nella somma discreta. Per le distribuzioni continue, KL è scritto come integrale del rapporto di densità logaritmica sotto P; la finitezza richiede che P sia assolutamente continuo rispetto a Q. La funzione entropica di SciPy calcola l'entropia di Shannon con una distribuzione e l'entropia relativa quando viene fornito q; verificare la normalizzazione e la direzione dell'input. KL è utile per confrontare le distribuzioni, ma di per sé non dice se un modello è utile per una decisione a valle.