Kvíz spojený s průvodcem · Těžko úroveň
Plánované vzorkování a kvíz zkreslení expozice
Kontroluje, jak plánované vzorkování mění kontext dekodéru, proč klesá pravděpodobnost jeho zlatého tokenu a gradientní kompromisy vzorkování.
Otázka 1 z 8
Expoziční zkreslení vzniká, protože modely trénované s vynucením učitele podmiňují pouze:
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Expoziční zkreslení vzniká, protože modely trénované s vynucením učitele podmiňují pouze:
- Tokeny základní pravdy, ale při vyvozování musí použít své vlastní
- Jejich vlastní předpovězené tokeny
- Náhodné šumové žetony
- Budoucí tokeny
- Co dělá plánovaný odběr vzorků během tréninku?
- Vždy krmí skutečný token
- Náhodně volí mezi skutečným tokenem a vlastní předpovědí modelu
- Pravidelně deaktivuje funkci ztráty
- Zdvojnásobuje rychlost učení v průběhu času
- Jak se změní pravděpodobnost použití tokenu základní pravdy během školení v plánovaném vzorkování?
- Zůstává konstantní
- Začíná nízko a zvyšuje se
- Začíná vysoko a klesá k nule
- Kmitá náhodně
- Kdo zavedl plánované vzorkování a kdy zhruba?
- Vaswani a kol., 2017
- Hinton a kol., 2006
- LeCun a kol., 1998
- Bengio a kol., 2015
- Uznanou technickou nevýhodou zpětného podávání vzorků tokenů během školení je, že:
- Diskrétní krok vzorkování je nediferencovatelný, což komplikuje gradienty
- Díky tomu je trénink plně deterministický
- Nevyžaduje žádná ověřovací data
- Eliminuje to potřebu vestavby
- Který tvar rozvrhu se běžně uvádí pro snížení pravděpodobnosti vynucování učitele?
- Konstantní
- Inverzně-sigmoidní rozpad
- Postupný lineární nárůst
- Náhodná procházka
- At a decoding step where scheduled sampling chooses the model-output branch, what is fed as the next context token?
- The next ground-truth token every time
- A token from a separate validation sequence
- A token sampled from the model’s predicted distribution
- The average of all vocabulary embeddings
- Why does scheduled sampling usually begin with a high probability of using ground truth?
- It guarantees unbiased gradients
- It removes the need for a training schedule
- It makes inference use ground-truth tokens
- Early predictions are poor, so a correct prefix can stabilize initial learning