LegközelebbKövetkező útmutató
Többszörös összehasonlítás korrekciója
Műszaki
Műszaki ÚTMUTATÓ
A Kullback-Leibler (KL) divergencia azt a várható többlet információs költséget méri, ha egy valószínűségi eloszlást használunk a másik megjelenítésére.
Hallgassa meg ezt az útmutatótAI-narrált · ~3 min
Nemnegatív, de aszimmetrikus, így a referencia- és összehasonlító eloszlások felcserélése általában megváltoztatja az eredményt, és megváltoztathatja, hogy melyik modellezési lehetőség tűnik előnyösebbnek.
Azonos kimenetelű p és q diszkrét eloszlások esetén a KL divergenciája D_KL(p||q) = p(x) log(p(x)/q(x) kimenetek összege. Összehasonlítja q-t egy p referenciaértékkel, minden egyes logarányt azzal súlyozva, hogy az eredmény milyen gyakran fordul elő p alatt. Az információelméletben várható többletkódolási költségként értelmezhető, ha egy kód q-ra van optimalizálva, de a valódi eloszlás p. A log-alap határozza meg az egységet: a természetes logaritmusok nat-okat, a két bázis pedig biteket adnak ki. A KL divergenciája nemnegatív, és nullával egyenlő, ha az eloszlások egyeznek a p alatti pozitív valószínűségű eredményekkel, alátámasztási megfontolások mellett. Aszimmetrikus: D_KL(p||q) általában nem D_KL(q||p). Ez alkalmatlanná teszi hagyományos geometriai távolságként. Az irány számít olyan alkalmazásokban, mint például a variációs következtetés, ahol az egyik eloszlást célként, a másikat pedig közelítésként kezelik. A tisztességes versus torzítású érme példájában p=(0,5,0,5) és q=(0,9,0,1). A bitértékű hozzájárulások 0,5 log2 (0,5/0,9), körülbelül -0,424 és 0,5 log2 (0,5/0,1), körülbelül 1,161. Összegük körülbelül 0,737 bit. A negatív egyéni kifejezések akkor is megengedettek, ha a teljes eltérés nem negatív. A p és q megfordítása eltérő értéket ad, mert a súlyok is változnak. A támogatási eltérések számítanak. Ha p pozitív valószínűséget rendel egy eredményhez, ahol q nullát, akkor a megfelelő előrefelé irányuló divergencia végtelen. Ha mindkettő nullát ad, akkor az eredmény megegyezés szerint nullát ad a diszkrét összegben. Folytonos eloszlások esetén a KL-t a log sűrűségarány integráljaként írjuk fel P alatt; a végesség megköveteli, hogy P abszolút folytonos legyen Q-hoz képest. A SciPy entrópiafüggvénye kiszámítja a Shannon-entrópiát egy eloszlással és relatív entrópiát, ha q adott; ellenőrizze a bemenet normalizálását és irányát. A KL hasznos a disztribúciók összehasonlításához, de önmagában nem mondja meg, hogy egy modell hasznos-e egy downstream döntéshez.
A hipotetikus igazságos érmeeloszlást p=(0,5,0,5) hasonlítjuk össze q=(0,9,0,1) értékkel. Bitekben D_KL(p||q)=0,5 log2(0,5/0,9)+0,5 log2(0,5/0,1), körülbelül 0,737 bit.
A nyelvi modellt arra tanítják, hogy minimalizálja a KL-t a céljogkivonat-eloszlástól az előre jelzett eloszlásig. Ha egy célesemény előrejelzett valószínűsége nulla, akkor az előremenő KL költség végtelenné válhat, ami gondos simítást vagy modelltámogatást igényel.
Egy kutató összehasonlítja a D_KL(p||q)-t a D_KL(q||p)-vel két eloszlás esetén, és különböző értékeket talál. Az aszimmetria azt jelenti, hogy a metrika nem egy közönséges távolság, és nincs általános háromszög-egyenlőtlensége.
Az elemző a scipy.stats.entropy(pk, qk) függvényt használja, és megerősíti, hogy melyik argumentum képviseli a céleloszlást, mivel az API relatív entrópia iránya a pk-t követi a qk-hoz képest.
Az eloszlás-összehasonlítások jobban értelmezhetőek lesznek, ha a jelentések közlik, hogy melyik eloszlás a referencia, a naplózási alap, és hogyan kezelik a nulla valószínűségű eseményeket. A modellképzés során a csapatoknak össze kell kapcsolniuk a KL irányát a kívánt viselkedéssel: az összes célmód lefedése különbözik attól, hogy a közelítést egy domináns módhoz közelítik. Értékelje a későbbi döntéseket, valamint az eltérési értékeket, mivel az alacsony eloszlási eltérés önmagában nem garancia a gyakorlati hasznosságra. A jövőbeli folyamatok tartalmazhatnak támogatási ellenőrzéseket és simítási érzékenységet, így a numerikus élesetek láthatóvá válnak, nem pedig a valószínűségek csendben történő módosítása.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A Kullback-Leibler (KL) divergencia azt a várható többlet információs költséget méri, ha egy valószínűségi eloszlást használunk a másik megjelenítésére. Nemnegatív, de aszimmetrikus, így a referencia- és összehasonlító eloszlások felcserélése általában megváltoztatja az eredményt, és megváltoztathatja, hogy melyik modellezési lehetőség tűnik előnyösebbnek.
Az összeget p(x) súlyozzuk, a referencia eloszlással ebben az irányban.
A súlyozás és az arány megváltozik az eloszlások felcserélésekor.
A logaránynak pozitív számlálója és nulla nevezője van, ami végtelen divergenciát eredményez.
Egyes q valószínűségek meghaladják p értéket, negatív log tagokat adva, míg a teljes divergencia a nonnegativitásnak engedelmeskedik.
Alap két mérési információ bitben; természetes rönkök natokat termelnek.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Többszörös összehasonlítás korrekciója
Műszaki