Gids-gekoppelde quiz · Moeilijk Niveau
Quiz voor geplande bemonstering en belichtingsbias
Controleert hoe geplande bemonstering de context van de decoder verandert, waarom de waarschijnlijkheid van het goud-token afneemt, en de gradiëntafwegingen van bemonstering.
Vraag 1 van 8
Blootstellingsbias ontstaat omdat modellen die zijn getraind met het forceren van leraren alleen voorwaarden stellen aan:
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Blootstellingsbias ontstaat omdat modellen die zijn getraind met het forceren van leraren alleen voorwaarden stellen aan:
- Ground-truth tokens, maar moeten hun eigen tokens gebruiken bij gevolgtrekking
- Hun eigen voorspelde tokens
- Willekeurige ruistokens
- Toekomstige tokens
- Wat doet geplande bemonstering tijdens de training?
- Voert altijd het ware token in
- Kiest willekeurig tussen het ware token en de eigen voorspelling van het model
- Schakelt de verliesfunctie periodiek uit
- Verdubbelt de leersnelheid in de loop van de tijd
- Hoe verandert de waarschijnlijkheid van het gebruik van het ground-truth token tijdens training bij geplande steekproeven?
- Het blijft constant
- Het begint laag en neemt toe
- Het begint hoog en vervalt naar nul
- Het oscilleert willekeurig
- Wie heeft geplande bemonstering ingevoerd, en wanneer ongeveer?
- Vaswani et al., 2017
- Hinton et al., 2006
- LeCun et al., 1998
- Bengio et al., 2015
- Een erkend technisch nadeel van het teruggeven van bemonsterde tokens tijdens de training is dat:
- De discrete bemonsteringsstap is niet-differentieerbaar, wat gradiënten compliceert
- Het maakt training volledig deterministisch
- Er zijn geen validatiegegevens vereist
- Het elimineert de noodzaak voor inbedding
- Welke schemavorm wordt vaak aangehaald om de kans op lerarendwang te verlagen?
- Constant
- Invers-sigmoïd verval
- Lineaire verhoging
- Willekeurige wandeling
- At a decoding step where scheduled sampling chooses the model-output branch, what is fed as the next context token?
- The next ground-truth token every time
- A token from a separate validation sequence
- A token sampled from the model’s predicted distribution
- The average of all vocabulary embeddings
- Why does scheduled sampling usually begin with a high probability of using ground truth?
- It guarantees unbiased gradients
- It removes the need for a training schedule
- It makes inference use ground-truth tokens
- Early predictions are poor, so a correct prefix can stabilize initial learning