Quiz collegato alla guida · Medio Livello
KL Divergenza Quiz
Calcola la divergenza KL in bit e ragiona sull'asimmetria, sui disallineamenti dei supporti, sull'entropia incrociata e sulla direzione della distribuzione dei riferimenti.
Domanda 1 di 8
In D_KL(p||q), quale distribuzione pesa i termini del rapporto logaritmico?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- In D_KL(p||q), quale distribuzione pesa i termini del rapporto logaritmico?
- p
- q
- Their unweighted average
- The distribution with larger entropy
- Perché la divergenza KL non è una distanza simmetrica ordinaria?
- It can only be negative
- Swapping p and q generally changes the value
- It has no logarithms
- It is always exactly one
- Per p(x)>0 e q(x)=0, cosa succede al corrispondente contributo KL diretto?
- It is always one bit
- Diventa zero
- Diverge all'infinito
- It is omitted regardless of p
- Nell'esempio della moneta equa rispetto a quella distorta, perché un addendo può essere negativo mentre il KL totale rimane non negativo?
- The log base makes negative terms invalid
- Every term is required to be positive
- The formula takes an absolute value after summing
- Individual log ratios can be negative, though the weighted total is nonnegative
- Quale unità risulta dall'utilizzo dei logaritmi in base due?
- Nats
- Bits
- Meters
- Percent points
- How does cross-entropy relate to entropy and forward KL?
- It is always zero when q differs
- It equals D_KL(Q||P) minus entropy
- H(P,Q) = H(P) + D_KL(P||Q)
- It is the reciprocal of KL
- In SciPy's entropy(pk, qk), what does supplying qk request?
- A test of whether probabilities are independent
- Only Shannon entropy of qk
- A symmetric distance between both arrays
- Relative entropy using pk relative to qk
- Which statement about continuous KL is accurate?
- It integrates a log density ratio under P and is infinite if P puts positive mass where Q has zero density
- It sums point probabilities at every real-valued outcome
- It is always finite whenever both distributions have densities
- It has no support condition for the compared distributions