Quiz połączony z przewodnikiem · Ciężko Poziom

Quiz dotyczący zaplanowanego próbkowania i błędu ekspozycji

Sprawdza, jak zaplanowane próbkowanie zmienia kontekst dekodera, dlaczego maleje prawdopodobieństwo jego złotego tokena oraz kompromisy w zakresie gradientu próbkowania.

Powiązane ścieżki prowadząceZaplanowane próbkowanie i błąd ekspozycji
Pytanie 1 z 8

Błąd ekspozycji powstaje, ponieważ modele szkolone pod okiem nauczyciela wymuszają jedynie:

Podgląd każdego pytania8 pytania

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

  1. Błąd ekspozycji powstaje, ponieważ modele szkolone pod okiem nauczyciela wymuszają jedynie:
    • Żetony prawdy, ale przy wnioskowaniu należy używać własnych
    • Ich własne przewidywane tokeny
    • Losowe żetony hałasu
    • Przyszłe tokeny
  2. Do czego służy zaplanowane pobieranie próbek podczas szkolenia?
    • Zawsze podaje prawdziwy token
    • Losowo wybiera pomiędzy prawdziwym tokenem a przewidywaniem modelu
    • Okresowo wyłącza funkcję utraty
    • Z biegiem czasu podwaja tempo uczenia się
  3. Jak zmienia się prawdopodobieństwo użycia tokena prawdy podstawowej w trakcie treningu w zaplanowanym próbkowaniu?
    • Pozostaje stała
    • Zaczyna się od niskiego poziomu i rośnie
    • Zaczyna się od wysokiego poziomu i spada do zera
    • Oscyluje losowo
  4. Kto wprowadził zaplanowane pobieranie próbek i mniej więcej kiedy?
    • Vaswani i in., 2017
    • Hinton i in., 2006
    • LeCun i in., 1998
    • Bengio i in., 2015
  5. Uznaną wadą techniczną polegającą na przekazywaniu próbek tokenów z powrotem podczas szkolenia jest to, że:
    • Etap próbkowania dyskretnego jest niezróżnicowany, co komplikuje gradienty
    • Dzięki temu trening jest w pełni deterministyczny
    • Nie wymaga danych weryfikacyjnych
    • Eliminuje to potrzebę osadzania
  6. Który kształt harmonogramu jest powszechnie przytaczany w kontekście zmniejszania prawdopodobieństwa wymuszania przez nauczyciela?
    • Stała
    • Rozpad odwrotny-esiczy
    • Liniowy wzrost krokowy
    • Przypadkowy spacer
  7. At a decoding step where scheduled sampling chooses the model-output branch, what is fed as the next context token?
    • The next ground-truth token every time
    • A token from a separate validation sequence
    • A token sampled from the model’s predicted distribution
    • The average of all vocabulary embeddings
  8. Why does scheduled sampling usually begin with a high probability of using ground truth?
    • It guarantees unbiased gradients
    • It removes the need for a training schedule
    • It makes inference use ground-truth tokens
    • Early predictions are poor, so a correct prefix can stabilize initial learning