Útmutatóhoz kapcsolódó kvíz · Kemény Szint
Ütemezett mintavétel és expozíciós torzítás kvíz
Checks how scheduled sampling changes decoder context, why its gold-token probability decays, and the gradient trade-offs of sampling.
kérdés 1 -ból 8
Az expozíciós torzítás azért merül fel, mert a tanárokkal kiképzett modellek csak a következőket feltétele:
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Az expozíciós torzítás azért merül fel, mert a tanárokkal kiképzett modellek csak a következőket feltétele:
- Alapigazság jelzők, de a következtetéshez a sajátjukat kell használniuk
- Saját megjósolt tokenek
- Véletlenszerű zajjelzők
- Jövő tokenek
- Mit csinál az ütemezett mintavétel a képzés során?
- Mindig a valódi tokent táplálja
- Véletlenszerűen választ a valódi token és a modell saját előrejelzése között
- Időnként letiltja a veszteség funkciót
- Idővel megduplázza a tanulási sebességet
- Hogyan változik az alap-igazság token használatának valószínűsége az ütemezett mintavétel során végzett képzés során?
- Állandó marad
- Alacsonyan indul és növekszik
- Magasan indul, és a nulla felé csökken
- Véletlenszerűen oszcillál
- Ki vezette be az ütemezett mintavételt, és nagyjából mikor?
- Vaswani et al., 2017
- Hinton és mtsai, 2006
- LeCun és munkatársai, 1998
- Bengio és társai, 2015
- A mintavételezett zsetonok betanítás közbeni visszaadásának elismert technikai hátránya, hogy:
- A diszkrét mintavételi lépés nem differenciálható, ami bonyolítja a gradienseket
- Teljesen determinisztikussá teszi a képzést
- Nem igényel érvényesítési adatokat
- Kiküszöböli a beágyazás szükségességét
- Melyik órarendi alakzatot szokták idézni a tanárkényszer valószínűségének lecsökkentésére?
- Állandó
- Inverz szigmoid bomlás
- Lépjen fel lineáris növekedés
- Véletlenszerű séta
- At a decoding step where scheduled sampling chooses the model-output branch, what is fed as the next context token?
- The next ground-truth token every time
- A token from a separate validation sequence
- A token sampled from the model’s predicted distribution
- The average of all vocabulary embeddings
- Why does scheduled sampling usually begin with a high probability of using ground truth?
- It guarantees unbiased gradients
- It removes the need for a training schedule
- It makes inference use ground-truth tokens
- Early predictions are poor, so a correct prefix can stabilize initial learning