KL Divergenz

Für diskrete Verteilungen p und q über dieselben Ergebnisse beträgt die KL-Divergenz D_KL(p||q) = Summe über Ergebnisse p(x) log(p(x)/q(x)). Es vergleicht q mit einem Referenzwert p und gewichtet jedes Log-Verhältnis danach, wie oft das Ergebnis unter p auftritt. In der Informationstheorie kann es als erwarteter zusätzlicher Codierungsaufwand interpretiert werden, wenn ein Code für q optimiert ist, die wahre Verteilung jedoch p ist. Die logarithmische Basis legt die Einheit fest: Natürliche Logarithmen ergeben Nats und Basis zwei ergibt Bits. Die KL-Divergenz ist nicht negativ und gleich Null, wenn die Verteilungen bei Ergebnissen mit positiver Wahrscheinlichkeit unter p übereinstimmen, vorbehaltlich von Unterstützungsüberlegungen. Es ist asymmetrisch: D_KL(p||q) ist im Allgemeinen nicht D_KL(q||p). Dies macht ihn als herkömmlichen geometrischen Abstand ungeeignet. Die Richtung ist bei Anwendungen wie Variationsinferenz wichtig, bei denen eine Verteilung als Ziel und eine andere als Näherung behandelt wird. Im Beispiel der fairen versus voreingenommenen Münze sind p=(0,5,0,5) und q=(0,9,0,1). Die bitwertigen Beiträge betragen 0,5 log2 (0,5/0,9), etwa -0,424, und 0,5 log2 (0,5/0,1), etwa 1,161. Ihre Summe beträgt etwa 0,737 Bit. Negative einzelne Begriffe sind zulässig, auch wenn die Gesamtabweichung nicht negativ ist. Das Vertauschen von p und q ergibt einen anderen Wert, da sich auch die Gewichte ändern. Unterstützungsinkongruenzen sind wichtig. Wenn p einem Ergebnis eine positive Wahrscheinlichkeit zuweist, wobei q Null zuweist, ist die entsprechende Vorwärtsdivergenz unendlich. Wenn beide Null zuweisen, trägt dieses Ergebnis vereinbarungsgemäß Null zur diskreten Summe bei. Für kontinuierliche Verteilungen wird KL als Integral des logarithmischen Dichteverhältnisses unter P geschrieben; Endlichkeit erfordert, dass P in Bezug auf Q absolut stetig ist. Die Entropiefunktion von SciPy berechnet die Shannon-Entropie mit einer Verteilung und die relative Entropie, wenn q bereitgestellt wird; Überprüfen Sie die Normalisierung und Richtung der Eingabe. KL eignet sich zum Vergleichen von Verteilungen, sagt jedoch nicht allein aus, ob ein Modell für eine nachgelagerte Entscheidung nützlich ist.