Gids-gekoppelde quiz · Middelmatig Niveau

Contrastieve decoderingsquiz

Test scores tussen experts en amateurs, onderdrukking van gedeelde tokens, plausibiliteitsfiltering, gebruik van decoderingstijd en evaluatie van contrastieve generatie.

Gerelateerde gidspadenContrastieve decodering
Vraag 1 van 8

Welke rol speelt het kleine 'amateur'-model bij contrastieve decodering?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Welke rol speelt het kleine 'amateur'-model bij contrastieve decodering?
    • De log-kansen worden afgetrokken om gedeelde faalmodi te onderdrukken
    • Het genereert de uiteindelijke uitvoertekst rechtstreeks
    • Het is afgestemd op de fouten van de expert
    • Het vervangt de deskundige wanneer de deskundige onzeker is
  2. Waarom vermindert het aftrekken van de waarschijnlijkheden van de amateur de herhaling en saaie output?
    • De amateur is getraind om nooit woorden te herhalen
    • Generieke en repetitieve tokens hebben de voorkeur van beide modellen, dus het contrast heft ze op
    • De amateur verwijdert dubbele tokens na generatie
    • Herhaling is onmogelijk zodra twee modellen stemmen
  3. What does the adaptive plausibility constraint do in contrastive decoding?
    • It guarantees every remaining continuation is coherent and true
    • It replaces the expert distribution with the amateur distribution
    • It filters out candidates whose expert probability is too low relative to the expert’s top token
    • It forces every token to have equal probability
  4. Wat is grofweg de scoreformule bij contrastieve decodering?
    • log p_amateur minus log p_expert
    • p_expert maal p_amateur
    • Het gemiddelde van de twee kansen
    • log p_expert minus een coëfficiënt maal log p_amateur
  5. Een belangrijk praktisch voordeel van contrastieve decodering is dat het:
    • Werkt op inferentietijd zonder extra training
    • Vereist een gezamenlijke herscholing van beide modellen
    • Werkt alleen bij classificatietaken
    • Elimineert de noodzaak van een groot model
  6. Welke latere methode breidt het contrastieve idee uit naar de eigen lagen van een enkel model?
    • Straal zoeken
    • DoLa, dat vroege versus late lagen contrasteert
    • Hebzuchtige decodering
    • Temperatuurschaling
  7. The expert assigns probability 0.4 to its top token and the plausibility threshold is 0.1 of that value. What is the minimum probability for a candidate to remain eligible?
    • 0.4
    • 0,1
    • 0.04
    • 0.004
  8. Why can contrastive decoding require more inference work than using the expert model alone?
    • It must retrain both models for every prompt
    • It replaces the vocabulary with image patches
    • It runs only the amateur model
    • It scores candidates with both an expert and an amateur model at inference time