Викторина, связанная с руководством · Средний Уровень
KL Дивергенция Викторина
Рассчитайте расхождение KL в битах и рассуждайте об асимметрии, несовпадениях поддержки, перекрестной энтропии и направлении распределения ссылок.
Вопрос 1 из 8
В D_KL(p||q) какое распределение взвешивает члены логарифмического отношения?
Предварительный просмотр каждого вопроса8 вопросы
Ответы и пояснения появляются по мере прохождения теста.
- В D_KL(p||q) какое распределение взвешивает члены логарифмического отношения?
- p
- q
- Their unweighted average
- The distribution with larger entropy
- Почему КЛ-дивергенция не является обычным симметричным расстоянием?
- It can only be negative
- Swapping p and q generally changes the value
- It has no logarithms
- It is always exactly one
- Что происходит с соответствующим прямым вкладом KL при p(x)>0 и q(x)=0?
- It is always one bit
- Оно становится нулевым
- Он расходится в бесконечность
- It is omitted regardless of p
- Почему в примере с монетой «справедливо против предвзятости» одно слагаемое может быть отрицательным, в то время как общий KL остается неотрицательным?
- The log base makes negative terms invalid
- Every term is required to be positive
- The formula takes an absolute value after summing
- Individual log ratios can be negative, though the weighted total is nonnegative
- Какая единица получается в результате использования логарифмов с основанием двойки?
- Nats
- Bits
- Meters
- Percent points
- How does cross-entropy relate to entropy and forward KL?
- It is always zero when q differs
- It equals D_KL(Q||P) minus entropy
- H(P,Q) = H(P) + D_KL(P||Q)
- It is the reciprocal of KL
- In SciPy's entropy(pk, qk), what does supplying qk request?
- A test of whether probabilities are independent
- Only Shannon entropy of qk
- A symmetric distance between both arrays
- Relative entropy using pk relative to qk
- Which statement about continuous KL is accurate?
- It integrates a log density ratio under P and is infinite if P puts positive mass where Q has zero density
- It sums point probabilities at every real-valued outcome
- It is always finite whenever both distributions have densities
- It has no support condition for the compared distributions