Quiz collegato alla guida · Medio Livello

KL Divergenza Quiz

Calcola la divergenza KL in bit e ragiona sull'asimmetria, sui disallineamenti dei supporti, sull'entropia incrociata e sulla direzione della distribuzione dei riferimenti.

Percorsi guida correlatiKl Divergenza
Domanda 1 di 8

In D_KL(p||q), quale distribuzione pesa i termini del rapporto logaritmico?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. In D_KL(p||q), quale distribuzione pesa i termini del rapporto logaritmico?
    • p
    • q
    • Their unweighted average
    • The distribution with larger entropy
  2. Perché la divergenza KL non è una distanza simmetrica ordinaria?
    • It can only be negative
    • Swapping p and q generally changes the value
    • It has no logarithms
    • It is always exactly one
  3. Per p(x)>0 e q(x)=0, cosa succede al corrispondente contributo KL diretto?
    • It is always one bit
    • Diventa zero
    • Diverge all'infinito
    • It is omitted regardless of p
  4. Nell'esempio della moneta equa rispetto a quella distorta, perché un addendo può essere negativo mentre il KL totale rimane non negativo?
    • The log base makes negative terms invalid
    • Every term is required to be positive
    • The formula takes an absolute value after summing
    • Individual log ratios can be negative, though the weighted total is nonnegative
  5. Quale unità risulta dall'utilizzo dei logaritmi in base due?
    • Nats
    • Bits
    • Meters
    • Percent points
  6. How does cross-entropy relate to entropy and forward KL?
    • It is always zero when q differs
    • It equals D_KL(Q||P) minus entropy
    • H(P,Q) = H(P) + D_KL(P||Q)
    • It is the reciprocal of KL
  7. In SciPy's entropy(pk, qk), what does supplying qk request?
    • A test of whether probabilities are independent
    • Only Shannon entropy of qk
    • A symmetric distance between both arrays
    • Relative entropy using pk relative to qk
  8. Which statement about continuous KL is accurate?
    • It integrates a log density ratio under P and is infinite if P puts positive mass where Q has zero density
    • It sums point probabilities at every real-valued outcome
    • It is always finite whenever both distributions have densities
    • It has no support condition for the compared distributions