Útmutatóhoz kapcsolódó kvíz · Kemény Szint

Ütemezett mintavétel és expozíciós torzítás kvíz

Checks how scheduled sampling changes decoder context, why its gold-token probability decays, and the gradient trade-offs of sampling.

kérdés 1 -ból 8

Az expozíciós torzítás azért merül fel, mert a tanárokkal kiképzett modellek csak a következőket feltétele:

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Az expozíciós torzítás azért merül fel, mert a tanárokkal kiképzett modellek csak a következőket feltétele:
    • Alapigazság jelzők, de a következtetéshez a sajátjukat kell használniuk
    • Saját megjósolt tokenek
    • Véletlenszerű zajjelzők
    • Jövő tokenek
  2. Mit csinál az ütemezett mintavétel a képzés során?
    • Mindig a valódi tokent táplálja
    • Véletlenszerűen választ a valódi token és a modell saját előrejelzése között
    • Időnként letiltja a veszteség funkciót
    • Idővel megduplázza a tanulási sebességet
  3. Hogyan változik az alap-igazság token használatának valószínűsége az ütemezett mintavétel során végzett képzés során?
    • Állandó marad
    • Alacsonyan indul és növekszik
    • Magasan indul, és a nulla felé csökken
    • Véletlenszerűen oszcillál
  4. Ki vezette be az ütemezett mintavételt, és nagyjából mikor?
    • Vaswani et al., 2017
    • Hinton és mtsai, 2006
    • LeCun és munkatársai, 1998
    • Bengio és társai, 2015
  5. A mintavételezett zsetonok betanítás közbeni visszaadásának elismert technikai hátránya, hogy:
    • A diszkrét mintavételi lépés nem differenciálható, ami bonyolítja a gradienseket
    • Teljesen determinisztikussá teszi a képzést
    • Nem igényel érvényesítési adatokat
    • Kiküszöböli a beágyazás szükségességét
  6. Melyik órarendi alakzatot szokták idézni a tanárkényszer valószínűségének lecsökkentésére?
    • Állandó
    • Inverz szigmoid bomlás
    • Lépjen fel lineáris növekedés
    • Véletlenszerű séta
  7. At a decoding step where scheduled sampling chooses the model-output branch, what is fed as the next context token?
    • The next ground-truth token every time
    • A token from a separate validation sequence
    • A token sampled from the model’s predicted distribution
    • The average of all vocabulary embeddings
  8. Why does scheduled sampling usually begin with a high probability of using ground truth?
    • It guarantees unbiased gradients
    • It removes the need for a training schedule
    • It makes inference use ground-truth tokens
    • Early predictions are poor, so a correct prefix can stabilize initial learning