Útmutatóhoz kapcsolódó kvíz · Közepes Szint
KL divergencia kvíz
Számítsa ki a KL divergenciáját bitekben, és indokolja az aszimmetriát, a támogatási eltéréseket, a keresztentrópiát és a referencia-eloszlás irányát.
kérdés 1 -ból 8
D_KL(p||q) melyik eloszlás súlyozza a log-arány tagokat?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- D_KL(p||q) melyik eloszlás súlyozza a log-arány tagokat?
- p
- q
- Súlyozatlan átlaguk
- Nagyobb entrópiájú eloszlás
- Miért nem közönséges szimmetrikus távolság a KL divergencia?
- Csak negatív lehet
- A p és q felcserélése általában megváltoztatja az értéket
- Nincs logaritmusa
- Mindig pontosan egy
- p(x)>0 és q(x)=0 esetén mi történik a megfelelő előremenő KL hozzájárulással?
- Mindig egy kicsit
- Nullává válik
- A végtelenségig eltér
- o.-tól függetlenül kimarad
- A tisztességes versus elfogult érme példájában miért lehet egy összegzés negatív, miközben a teljes KL nem negatív?
- A naplóalap érvényteleníti a negatív kifejezéseket
- Minden kifejezésnek pozitívnak kell lennie
- A képlet az összegzés után abszolút értéket vesz fel
- Az egyes logarányok negatívak is lehetnek, bár a súlyozott összeg nem negatív
- Milyen mértékegység adódik a két alapú logaritmus használatából?
- Nats
- Bits
- Mérők
- Százalékpontok
- Hogyan kapcsolódik a keresztentrópia az entrópiához és az előrehaladó KL-hez?
- Mindig nulla, ha q különbözik
- Ez egyenlő D_KL(Q||P) mínusz entrópia
- H(P,Q) = H(P) + D_KL(P||Q)
- Ez a KL reciprokja
- A SciPy entrópiájában (pk, qk) mit kér a qk megadása?
- Annak vizsgálata, hogy a valószínűségek függetlenek-e
- Csak a qk Shannon entrópiája
- Szimmetrikus távolság a két tömb között
- Relatív entrópia pk használatával qk-hoz viszonyítva
- Melyik állítás pontos a folyamatos KL-re vonatkozóan?
- Integrál egy log sűrűségi arányt P alatt, és végtelen, ha P pozitív tömeget ad, ahol Q nulla sűrűségű
- Minden valós értékű eredménynél összegzi a pontvalószínűségeket
- Mindig véges, ha mindkét eloszlásnak van sűrűsége
- Nincs támogatási feltétele az összehasonlított disztribúciókhoz