Викторина, связанная с руководством · Средний Уровень

KL Дивергенция Викторина

Рассчитайте расхождение KL в битах и рассуждайте об асимметрии, несовпадениях поддержки, перекрестной энтропии и направлении распределения ссылок.

Связанные направляющие путиKl Дивергенция
Вопрос 1 из 8

В D_KL(p||q) какое распределение взвешивает члены логарифмического отношения?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. В D_KL(p||q) какое распределение взвешивает члены логарифмического отношения?
    • p
    • q
    • Their unweighted average
    • The distribution with larger entropy
  2. Почему КЛ-дивергенция не является обычным симметричным расстоянием?
    • It can only be negative
    • Swapping p and q generally changes the value
    • It has no logarithms
    • It is always exactly one
  3. Что происходит с соответствующим прямым вкладом KL при p(x)>0 и q(x)=0?
    • It is always one bit
    • Оно становится нулевым
    • Он расходится в бесконечность
    • It is omitted regardless of p
  4. Почему в примере с монетой «справедливо против предвзятости» одно слагаемое может быть отрицательным, в то время как общий KL остается неотрицательным?
    • The log base makes negative terms invalid
    • Every term is required to be positive
    • The formula takes an absolute value after summing
    • Individual log ratios can be negative, though the weighted total is nonnegative
  5. Какая единица получается в результате использования логарифмов с основанием двойки?
    • Nats
    • Bits
    • Meters
    • Percent points
  6. How does cross-entropy relate to entropy and forward KL?
    • It is always zero when q differs
    • It equals D_KL(Q||P) minus entropy
    • H(P,Q) = H(P) + D_KL(P||Q)
    • It is the reciprocal of KL
  7. In SciPy's entropy(pk, qk), what does supplying qk request?
    • A test of whether probabilities are independent
    • Only Shannon entropy of qk
    • A symmetric distance between both arrays
    • Relative entropy using pk relative to qk
  8. Which statement about continuous KL is accurate?
    • It integrates a log density ratio under P and is infinite if P puts positive mass where Q has zero density
    • It sums point probabilities at every real-valued outcome
    • It is always finite whenever both distributions have densities
    • It has no support condition for the compared distributions