Kvíz spojený s průvodcem · Střední úroveň

Vzorkovací kvíz založený na entropii

Rozlišuje entropii dalšího tokenu od důvěryhodnosti pravdy, vysvětluje entropii a varentropii a kontroluje limity heuristiky adaptivního dekódování.

Související vodicí cestyVzorkování založené na entropii
Otázka 1 z 8

Co měří entropie následujícího tokenu v entropie‑uvědomělém dekodéru?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Co měří entropie následujícího tokenu v entropie‑uvědomělém dekodéru?
    • How spread out probability is across the model’s possible next tokens
    • Whether the model’s factual claim is true
    • Počet parametrů v modelu
    • The total number of tokens already generated
  2. A low-entropy next-token distribution most directly indicates that:
    • The predicted answer is guaranteed factual
    • Probability is concentrated on a small set of tokens
    • The model has no uncertainty about the entire conversation
    • Every token in the vocabulary is equally likely
  3. Shannonova entropie distribuce dalšího tokenu se vypočítá jako:
    • Součet logitů
    • Maximální pravděpodobnost minus minimum
    • -sum p_i log p_i přes tokeny
    • Počet tokenů ve slovní zásobě
  4. Co měří varentropy v některých entropie‑uvědomělých dekódovacích schématech?
    • The variance of model parameter counts
    • The factual accuracy of the next sentence
    • Počet tréninkových epoch
    • Variation in token-level surprisal values under the distribution
  5. Když entropie‑uvědomělý systém vidí vysokou entropii distribuce následujícího tokenu, co může rozumně usoudit?
    • The distribution is more spread out and may merit a task-specific decoding policy
    • The model is certainly hallucinating
    • The highest-probability token is false
    • The output must be stopped immediately
  6. Jaký je praktický limit používání entropie k řízení generování?
    • Entropy cannot be computed from probabilities
    • A chosen entropy policy does not by itself guarantee fewer factual errors
    • Entropy removes the need for model weights
    • Entropy forces all tokens to have equal probability
  7. Nízké entropie odpověď modelu souhlasí s uživatelovým falešným tvrzením. Co entropie hodnotu stanovuje?
    • That the claim has been independently verified
    • That every other candidate is impossible
    • Only that the model’s next-token distribution is concentrated, not that the claim is true
    • That the answer came from a reliable source
  8. How should a team choose thresholds for an entropy-triggered retrieval policy?
    • Assume one threshold works for all models and contexts
    • Choose the threshold from the model name
    • Treat every high-entropy token as a proven error
    • Evaluate the policy on representative tasks and measure whether retrieval improves outcomes