Útmutatóhoz kapcsolódó kvíz · Közepes Szint

KL divergencia kvíz

Számítsa ki a KL divergenciáját bitekben, és indokolja az aszimmetriát, a támogatási eltéréseket, a keresztentrópiát és a referencia-eloszlás irányát.

Kapcsolódó útmutató utakKl Eltérés
kérdés 1 -ból 8

D_KL(p||q) melyik eloszlás súlyozza a log-arány tagokat?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. D_KL(p||q) melyik eloszlás súlyozza a log-arány tagokat?
    • p
    • q
    • Súlyozatlan átlaguk
    • Nagyobb entrópiájú eloszlás
  2. Miért nem közönséges szimmetrikus távolság a KL divergencia?
    • Csak negatív lehet
    • A p és q felcserélése általában megváltoztatja az értéket
    • Nincs logaritmusa
    • Mindig pontosan egy
  3. p(x)>0 és q(x)=0 esetén mi történik a megfelelő előremenő KL hozzájárulással?
    • Mindig egy kicsit
    • Nullává válik
    • A végtelenségig eltér
    • o.-tól függetlenül kimarad
  4. A tisztességes versus elfogult érme példájában miért lehet egy összegzés negatív, miközben a teljes KL nem negatív?
    • A naplóalap érvényteleníti a negatív kifejezéseket
    • Minden kifejezésnek pozitívnak kell lennie
    • A képlet az összegzés után abszolút értéket vesz fel
    • Az egyes logarányok negatívak is lehetnek, bár a súlyozott összeg nem negatív
  5. Milyen mértékegység adódik a két alapú logaritmus használatából?
    • Nats
    • Bits
    • Mérők
    • Százalékpontok
  6. Hogyan kapcsolódik a keresztentrópia az entrópiához és az előrehaladó KL-hez?
    • Mindig nulla, ha q különbözik
    • Ez egyenlő D_KL(Q||P) mínusz entrópia
    • H(P,Q) = H(P) + D_KL(P||Q)
    • Ez a KL reciprokja
  7. A SciPy entrópiájában (pk, qk) mit kér a qk megadása?
    • Annak vizsgálata, hogy a valószínűségek függetlenek-e
    • Csak a qk Shannon entrópiája
    • Szimmetrikus távolság a két tömb között
    • Relatív entrópia pk használatával qk-hoz viszonyítva
  8. Melyik állítás pontos a folyamatos KL-re vonatkozóan?
    • Integrál egy log sűrűségi arányt P alatt, és végtelen, ha P pozitív tömeget ad, ahol Q nulla sűrűségű
    • Minden valós értékű eredménynél összegzi a pontvalószínűségeket
    • Mindig véges, ha mindkét eloszlásnak van sűrűsége
    • Nincs támogatási feltétele az összehasonlított disztribúciókhoz