Quiz połączony z przewodnikiem · Średni Poziom

Quiz dotyczący prognozowania następnego tokenu

Przejrzyj autoregresyjne szkolenie w oparciu o model języka, kontekst przyczynowy, wymuszanie przez nauczyciela i różnicę między szkoleniem a pokoleniem.

Powiązane ścieżki prowadząceNastępna prognoza tokenu
Pytanie 1 z 8

Co generuje model przewidywania następnego tokenu na każdym kroku?

Podgląd każdego pytania8 pytania

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

  1. Co generuje model przewidywania następnego tokenu na każdym kroku?
    • Rozkład prawdopodobieństwa w słownictwie dla następnego tokenu
    • Jedno stałe słowo
    • Tłumaczenie zdania
    • Wynik gramatyczny
  2. Jakiego rodzaju uwagi używa dekoder w stylu GPT?
    • Uwaga dwukierunkowa
    • Przyczynowa (zamaskowana) uwaga, która ukrywa przyszłe znaki
    • Żadnej uwagi
    • Przypadkowa uwaga
  3. Co oznacza tu pokolenie „autoregresywne”?
    • Model generuje wszystkie tokeny na raz
    • Model regresuje do wartości średniej
    • Każdy nowy token jest dołączany i przesyłany z powrotem, aby przewidzieć następny
    • Tokeny są generowane w losowej kolejności
  4. Jaka funkcja straty jest zwykle minimalizowana podczas uczenia?
    • Średni błąd kwadratowy
    • Utrata zawiasu
    • Odległość cosinusowa
    • Entropia krzyżowa nad następnym tokenem
  5. Co powoduje podniesienie temperatury podczas pobierania próbek?
    • Sprawia, że dane wyjściowe są bardziej losowe i kreatywne
    • Sprawia, że dane wyjściowe są ściśle deterministyczne
    • Zwiększa objętość słownictwa
    • Usuwa warstwę softmax
  6. Jak zwykle przygotowuje się surowy tekst przed przewidywaniem?
    • Jest przetłumaczony na język angielski
    • Jest dzielony na tokeny przez tokenizer
    • Jest konwertowany na dźwięk
    • Pozostawia się je jako surowe znaki, bez przetwarzania
  7. During next-token training, what is teacher forcing?
    • The model receives future target tokens before the input
    • The model randomly changes the tokenizer at every step
    • The model receives the ground-truth preceding tokens when predicting the next token
    • The model always samples its own previous prediction during training
  8. What mismatch can arise because generation feeds back model-produced tokens?
    • The model can no longer use attention
    • The vocabulary disappears after the first token
    • The model’s loss is computed only on images
    • Errors in generated prefixes can affect later predictions, unlike training on the ground-truth prefix