КЛ Дивергенция

Для дискретных распределений p и q по одним и тем же результатам расхождение KL равно D_KL(p||q) = сумма по результатам p(x) log(p(x)/q(x)). Он сравнивает q с эталонным p, взвешивая каждое логарифмическое соотношение по тому, как часто результат возникает при p. В теории информации это можно интерпретировать как ожидаемые дополнительные затраты на кодирование, когда код оптимизирован для q, но истинное распределение равно p. База журнала устанавливает единицу измерения: натуральные логарифмы дают числовые значения, а основание два — биты. Дивергенция KL неотрицательна и равна нулю, когда распределения совпадают по результатам с положительной вероятностью при p, с учетом соображений поддержки. Он асимметричен: D_KL(p||q) обычно не является D_KL(q||p). Это делает его непригодным в качестве обычного геометрического расстояния. Направление имеет значение в таких приложениях, как вариационный вывод, где одно распределение рассматривается как целевое, а другое — как приближение. В примере монеты с честностью и предвзятостью p=(0,5,0,5) и q=(0,9,0,1). Побитовые вклады составляют 0,5 log2(0,5/0,9), около -0,424, и 0,5 log2(0,5/0,1), около 1,161. Их сумма составляет около 0,737 бит. Отрицательные отдельные члены допускаются, даже если общая дивергенция неотрицательна. Изменение местами p и q дает другое значение, поскольку веса также меняются. Несоответствия поддержки имеют значение. Если p присваивает положительную вероятность результату, где q присваивает ноль, соответствующая прямая дивергенция бесконечна. Если оба присваивают ноль, этот результат по соглашению вносит ноль в дискретную сумму. Для непрерывных распределений KL записывается как интеграл от логарифмического отношения плотности под P; конечность требует, чтобы P было абсолютно непрерывным относительно Q. Функция энтропии SciPy вычисляет энтропию Шеннона с одним распределением и относительной энтропией, когда задано q; проверьте нормализацию и направление ввода. KL полезен для сравнения распределений, но сам по себе он не говорит о том, полезна ли модель для принятия последующих решений.