Kvíz spojený s průvodcem · Těžko úroveň

Plánované vzorkování a kvíz zkreslení expozice

Kontroluje, jak plánované vzorkování mění kontext dekodéru, proč klesá pravděpodobnost jeho zlatého tokenu a gradientní kompromisy vzorkování.

Otázka 1 z 8

Expoziční zkreslení vzniká, protože modely trénované s vynucením učitele podmiňují pouze:

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Expoziční zkreslení vzniká, protože modely trénované s vynucením učitele podmiňují pouze:
    • Tokeny základní pravdy, ale při vyvozování musí použít své vlastní
    • Jejich vlastní předpovězené tokeny
    • Náhodné šumové žetony
    • Budoucí tokeny
  2. Co dělá plánovaný odběr vzorků během tréninku?
    • Vždy krmí skutečný token
    • Náhodně volí mezi skutečným tokenem a vlastní předpovědí modelu
    • Pravidelně deaktivuje funkci ztráty
    • Zdvojnásobuje rychlost učení v průběhu času
  3. Jak se změní pravděpodobnost použití tokenu základní pravdy během školení v plánovaném vzorkování?
    • Zůstává konstantní
    • Začíná nízko a zvyšuje se
    • Začíná vysoko a klesá k nule
    • Kmitá náhodně
  4. Kdo zavedl plánované vzorkování a kdy zhruba?
    • Vaswani a kol., 2017
    • Hinton a kol., 2006
    • LeCun a kol., 1998
    • Bengio a kol., 2015
  5. Uznanou technickou nevýhodou zpětného podávání vzorků tokenů během školení je, že:
    • Diskrétní krok vzorkování je nediferencovatelný, což komplikuje gradienty
    • Díky tomu je trénink plně deterministický
    • Nevyžaduje žádná ověřovací data
    • Eliminuje to potřebu vestavby
  6. Který tvar rozvrhu se běžně uvádí pro snížení pravděpodobnosti vynucování učitele?
    • Konstantní
    • Inverzně-sigmoidní rozpad
    • Postupný lineární nárůst
    • Náhodná procházka
  7. At a decoding step where scheduled sampling chooses the model-output branch, what is fed as the next context token?
    • The next ground-truth token every time
    • A token from a separate validation sequence
    • A token sampled from the model’s predicted distribution
    • The average of all vocabulary embeddings
  8. Why does scheduled sampling usually begin with a high probability of using ground truth?
    • It guarantees unbiased gradients
    • It removes the need for a training schedule
    • It makes inference use ground-truth tokens
    • Early predictions are poor, so a correct prefix can stabilize initial learning