Műszaki ÚTMUTATÓ

KL Divergencia

A Kullback-Leibler (KL) divergencia azt a várható többlet információs költséget méri, ha egy valószínűségi eloszlást használunk a másik megjelenítésére.

Hallgassa meg ezt az útmutatótAI-narrált · ~3 min

Ezen az oldalon3 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. A KL divergenciájának jövője
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

Nemnegatív, de aszimmetrikus, így a referencia- és összehasonlító eloszlások felcserélése általában megváltoztatja az eredményt, és megváltoztathatja, hogy melyik modellezési lehetőség tűnik előnyösebbnek.

Mély merülés

Azonos kimenetelű p és q diszkrét eloszlások esetén a KL divergenciája D_KL(p||q) = p(x) log(p(x)/q(x) kimenetek összege. Összehasonlítja q-t egy p referenciaértékkel, minden egyes logarányt azzal súlyozva, hogy az eredmény milyen gyakran fordul elő p alatt. Az információelméletben várható többletkódolási költségként értelmezhető, ha egy kód q-ra van optimalizálva, de a valódi eloszlás p. A log-alap határozza meg az egységet: a természetes logaritmusok nat-okat, a két bázis pedig biteket adnak ki. A KL divergenciája nemnegatív, és nullával egyenlő, ha az eloszlások egyeznek a p alatti pozitív valószínűségű eredményekkel, alátámasztási megfontolások mellett. Aszimmetrikus: D_KL(p||q) általában nem D_KL(q||p). Ez alkalmatlanná teszi hagyományos geometriai távolságként. Az irány számít olyan alkalmazásokban, mint például a variációs következtetés, ahol az egyik eloszlást célként, a másikat pedig közelítésként kezelik. A tisztességes versus torzítású érme példájában p=(0,5,0,5) és q=(0,9,0,1). A bitértékű hozzájárulások 0,5 log2 (0,5/0,9), körülbelül -0,424 és 0,5 log2 (0,5/0,1), körülbelül 1,161. Összegük körülbelül 0,737 bit. A negatív egyéni kifejezések akkor is megengedettek, ha a teljes eltérés nem negatív. A p és q megfordítása eltérő értéket ad, mert a súlyok is változnak. A támogatási eltérések számítanak. Ha p pozitív valószínűséget rendel egy eredményhez, ahol q nullát, akkor a megfelelő előrefelé irányuló divergencia végtelen. Ha mindkettő nullát ad, akkor az eredmény megegyezés szerint nullát ad a diszkrét összegben. Folytonos eloszlások esetén a KL-t a log sűrűségarány integráljaként írjuk fel P alatt; a végesség megköveteli, hogy P abszolút folytonos legyen Q-hoz képest. A SciPy entrópiafüggvénye kiszámítja a Shannon-entrópiát egy eloszlással és relatív entrópiát, ha q adott; ellenőrizze a bemenet normalizálását és irányát. A KL hasznos a disztribúciók összehasonlításához, de önmagában nem mondja meg, hogy egy modell hasznos-e egy downstream döntéshez.

Valós megvalósítás

A hipotetikus igazságos érmeeloszlást p=(0,5,0,5) hasonlítjuk össze q=(0,9,0,1) értékkel. Bitekben D_KL(p||q)=0,5 log2(0,5/0,9)+0,5 log2(0,5/0,1), körülbelül 0,737 bit.

A nyelvi modellt arra tanítják, hogy minimalizálja a KL-t a céljogkivonat-eloszlástól az előre jelzett eloszlásig. Ha egy célesemény előrejelzett valószínűsége nulla, akkor az előremenő KL költség végtelenné válhat, ami gondos simítást vagy modelltámogatást igényel.

Egy kutató összehasonlítja a D_KL(p||q)-t a D_KL(q||p)-vel két eloszlás esetén, és különböző értékeket talál. Az aszimmetria azt jelenti, hogy a metrika nem egy közönséges távolság, és nincs általános háromszög-egyenlőtlensége.

Az elemző a scipy.stats.entropy(pk, qk) függvényt használja, és megerősíti, hogy melyik argumentum képviseli a céleloszlást, mivel az API relatív entrópia iránya a pk-t követi a qk-hoz képest.

A KL divergenciájának jövője

Az eloszlás-összehasonlítások jobban értelmezhetőek lesznek, ha a jelentések közlik, hogy melyik eloszlás a referencia, a naplózási alap, és hogyan kezelik a nulla valószínűségű eseményeket. A modellképzés során a csapatoknak össze kell kapcsolniuk a KL irányát a kívánt viselkedéssel: az összes célmód lefedése különbözik attól, hogy a közelítést egy domináns módhoz közelítik. Értékelje a későbbi döntéseket, valamint az eltérési értékeket, mivel az alacsony eloszlási eltérés önmagában nem garancia a gyakorlati hasznosságra. A jövőbeli folyamatok tartalmazhatnak támogatási ellenőrzéseket és simítási érzékenységet, így a numerikus élesetek láthatóvá válnak, nem pedig a valószínűségek csendben történő módosítása.

A gyakorlatba ültetés

Miért számít

  • Költség és költségvetés. Az építészeti döntések évekig növelik a teljesítményt és a működési költségeket.
  • Tisztább döntések. A technikai oktatás segít a csapatoknak a megfelelő verem kiválasztásában, nem csak a legújabb készletben.
  • Minőségellenőrzés. A jobb mérnöki döntések csökkentik a termelés megbízhatósági incidenseit.

Vigyázz

  • Egy benchmark optimalizálása elrejtheti a rendszer általános hiányosságait.
  • Az infrastrukturális és karbantartási költségeket gyakran alábecsülik.
  • A biztonsági és megfigyelhetőségi hiányosságok a rendszerek bonyolultabbá válásával nőhetnek.

Következő lépések

  1. Határozza meg a késleltetési, minőségi és költségcélokat a megvalósítás előtt.
  2. Benchmark reális terhelési és adatviszonyok mellett.
  3. Műszerfigyelés a hibák, az eltolódás és a felhasználói hatások szempontjából.
  4. A méretezés előtt készítse elő a visszagörgetési és az incidensre adott válaszútvonalakat.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Töltse ki a KL Divergence kvízt

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

Mi az a KL divergencia?

A Kullback-Leibler (KL) divergencia azt a várható többlet információs költséget méri, ha egy valószínűségi eloszlást használunk a másik megjelenítésére. Nemnegatív, de aszimmetrikus, így a referencia- és összehasonlító eloszlások felcserélése általában megváltoztatja az eredményt, és megváltoztathatja, hogy melyik modellezési lehetőség tűnik előnyösebbnek.

D_KL(p||q) melyik eloszlás súlyozza a log-arány tagokat?

Az összeget p(x) súlyozzuk, a referencia eloszlással ebben az irányban.

Miért nem közönséges szimmetrikus távolság a KL divergencia?

A súlyozás és az arány megváltozik az eloszlások felcserélésekor.

p(x)>0 és q(x)=0 esetén mi történik a megfelelő előremenő KL hozzájárulással?

A logaránynak pozitív számlálója és nulla nevezője van, ami végtelen divergenciát eredményez.

A tisztességes versus elfogult érme példájában miért lehet egy összegzés negatív, miközben a teljes KL nem negatív?

Egyes q valószínűségek meghaladják p értéket, negatív log tagokat adva, míg a teljes divergencia a nonnegativitásnak engedelmeskedik.

Milyen mértékegység adódik a két alapú logaritmus használatából?

Alap két mérési információ bitben; természetes rönkök natokat termelnek.