Quiz dotyczący rozbieżności KL

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. W D_KL(p||q), który rozkład waży składniki logarytmiczne?
   • p
   • q
   • Their unweighted average
   • The distribution with larger entropy
2. Dlaczego rozbieżność KL nie jest zwykłą odległością symetryczną?
   • It can only be negative
   • Swapping p and q generally changes the value
   • It has no logarithms
   • It is always exactly one
3. Dla p(x)>0 i q(x)=0, co dzieje się z odpowiadającym wkładem forward KL?
   • It is always one bit
   • Staje się zerem
   • Rozbiega się w nieskończoność
   • It is omitted regardless of p
4. Dlaczego w przykładzie monety sprawiedliwej i stronniczej jedna suma może być ujemna, podczas gdy całkowity KL pozostaje nieujemny?
   • The log base makes negative terms invalid
   • Every term is required to be positive
   • The formula takes an absolute value after summing
   • Individual log ratios can be negative, though the weighted total is nonnegative
5. Jaka jednostka wynika z użycia logarytmów o podstawie dwóch?
   • Nats
   • Bits
   • Meters
   • Percent points
6. How does cross-entropy relate to entropy and forward KL?
   • It is always zero when q differs
   • It equals D_KL(Q||P) minus entropy
   • H(P,Q) = H(P) + D_KL(P||Q)
   • It is the reciprocal of KL
7. In SciPy's entropy(pk, qk), what does supplying qk request?
   • A test of whether probabilities are independent
   • Only Shannon entropy of qk
   • A symmetric distance between both arrays
   • Relative entropy using pk relative to qk
8. Which statement about continuous KL is accurate?
   • It integrates a log density ratio under P and is infinite if P puts positive mass where Q has zero density
   • It sums point probabilities at every real-valued outcome
   • It is always finite whenever both distributions have densities
   • It has no support condition for the compared distributions