Gids-gekoppelde quiz · Middelmatig Niveau
Contrastieve decoderingsquiz
Test scores tussen experts en amateurs, onderdrukking van gedeelde tokens, plausibiliteitsfiltering, gebruik van decoderingstijd en evaluatie van contrastieve generatie.
Vraag 1 van 8
Welke rol speelt het kleine 'amateur'-model bij contrastieve decodering?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Welke rol speelt het kleine 'amateur'-model bij contrastieve decodering?
- De log-kansen worden afgetrokken om gedeelde faalmodi te onderdrukken
- Het genereert de uiteindelijke uitvoertekst rechtstreeks
- Het is afgestemd op de fouten van de expert
- Het vervangt de deskundige wanneer de deskundige onzeker is
- Waarom vermindert het aftrekken van de waarschijnlijkheden van de amateur de herhaling en saaie output?
- De amateur is getraind om nooit woorden te herhalen
- Generieke en repetitieve tokens hebben de voorkeur van beide modellen, dus het contrast heft ze op
- De amateur verwijdert dubbele tokens na generatie
- Herhaling is onmogelijk zodra twee modellen stemmen
- What does the adaptive plausibility constraint do in contrastive decoding?
- It guarantees every remaining continuation is coherent and true
- It replaces the expert distribution with the amateur distribution
- It filters out candidates whose expert probability is too low relative to the expert’s top token
- It forces every token to have equal probability
- Wat is grofweg de scoreformule bij contrastieve decodering?
- log p_amateur minus log p_expert
- p_expert maal p_amateur
- Het gemiddelde van de twee kansen
- log p_expert minus een coëfficiënt maal log p_amateur
- Een belangrijk praktisch voordeel van contrastieve decodering is dat het:
- Werkt op inferentietijd zonder extra training
- Vereist een gezamenlijke herscholing van beide modellen
- Werkt alleen bij classificatietaken
- Elimineert de noodzaak van een groot model
- Welke latere methode breidt het contrastieve idee uit naar de eigen lagen van een enkel model?
- Straal zoeken
- DoLa, dat vroege versus late lagen contrasteert
- Hebzuchtige decodering
- Temperatuurschaling
- The expert assigns probability 0.4 to its top token and the plausibility threshold is 0.1 of that value. What is the minimum probability for a candidate to remain eligible?
- 0.4
- 0,1
- 0.04
- 0.004
- Why can contrastive decoding require more inference work than using the expert model alone?
- It must retrain both models for every prompt
- It replaces the vocabulary with image patches
- It runs only the amateur model
- It scores candidates with both an expert and an amateur model at inference time