Gids-gekoppelde quiz · Moeilijk Niveau

Quiz voor geplande bemonstering en belichtingsbias

Controleert hoe geplande bemonstering de context van de decoder verandert, waarom de waarschijnlijkheid van het goud-token afneemt, en de gradiëntafwegingen van bemonstering.

Vraag 1 van 8

Blootstellingsbias ontstaat omdat modellen die zijn getraind met het forceren van leraren alleen voorwaarden stellen aan:

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Blootstellingsbias ontstaat omdat modellen die zijn getraind met het forceren van leraren alleen voorwaarden stellen aan:
    • Ground-truth tokens, maar moeten hun eigen tokens gebruiken bij gevolgtrekking
    • Hun eigen voorspelde tokens
    • Willekeurige ruistokens
    • Toekomstige tokens
  2. Wat doet geplande bemonstering tijdens de training?
    • Voert altijd het ware token in
    • Kiest willekeurig tussen het ware token en de eigen voorspelling van het model
    • Schakelt de verliesfunctie periodiek uit
    • Verdubbelt de leersnelheid in de loop van de tijd
  3. Hoe verandert de waarschijnlijkheid van het gebruik van het ground-truth token tijdens training bij geplande steekproeven?
    • Het blijft constant
    • Het begint laag en neemt toe
    • Het begint hoog en vervalt naar nul
    • Het oscilleert willekeurig
  4. Wie heeft geplande bemonstering ingevoerd, en wanneer ongeveer?
    • Vaswani et al., 2017
    • Hinton et al., 2006
    • LeCun et al., 1998
    • Bengio et al., 2015
  5. Een erkend technisch nadeel van het teruggeven van bemonsterde tokens tijdens de training is dat:
    • De discrete bemonsteringsstap is niet-differentieerbaar, wat gradiënten compliceert
    • Het maakt training volledig deterministisch
    • Er zijn geen validatiegegevens vereist
    • Het elimineert de noodzaak voor inbedding
  6. Welke schemavorm wordt vaak aangehaald om de kans op lerarendwang te verlagen?
    • Constant
    • Invers-sigmoïd verval
    • Lineaire verhoging
    • Willekeurige wandeling
  7. At a decoding step where scheduled sampling chooses the model-output branch, what is fed as the next context token?
    • The next ground-truth token every time
    • A token from a separate validation sequence
    • A token sampled from the model’s predicted distribution
    • The average of all vocabulary embeddings
  8. Why does scheduled sampling usually begin with a high probability of using ground truth?
    • It guarantees unbiased gradients
    • It removes the need for a training schedule
    • It makes inference use ground-truth tokens
    • Early predictions are poor, so a correct prefix can stabilize initial learning