Útmutatóhoz kapcsolódó kvíz · Közepes Szint

Következő token előrejelzési kvíz

Review autoregressive language-model training, causal context, teacher forcing and the difference between training and generation.

Kapcsolódó útmutató utakKövetkező token előrejelzés
kérdés 1 -ból 8

Mit ad a következő token előrejelzési modell az egyes lépésekben?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Mit ad a következő token előrejelzési modell az egyes lépésekben?
    • Valószínűségi eloszlás a következő token szókincsében
    • Egyetlen rögzített szó
    • A mondat fordítása
    • Nyelvtani pontszám
  2. Milyen típusú figyelmet használ a GPT-stílusú dekóder?
    • Kétirányú figyelem
    • Kauzális (maszkos) figyelem, amely elrejti a jövő jelzőit
    • Egyáltalán nincs odafigyelés
    • Véletlen figyelem
  3. Mit jelent itt az „autoregresszív” generáció?
    • A modell egyszerre generálja az összes tokent
    • A modell visszafejlődik egy középértékre
    • Minden új token hozzáfűződik, és visszacsatolódik a következő előrejelzéséhez
    • A tokenek véletlenszerű sorrendben jönnek létre
  4. Milyen veszteségfüggvényt minimalizálnak általában az edzés során?
    • Átlagos négyzetes hiba
    • Zsanér elvesztése
    • Koszinusz távolság
    • Keresztentrópia a következő token felett
  5. Mit jelent a hőmérséklet emelése a mintavétel során?
    • Véletlenebbé és kreatívabbá teszi a kimenetet
    • A kimenetet szigorúan determinisztikussá teszi
    • Növeli a szókincs méretét
    • Eltávolítja a softmax réteget
  6. Az előrejelzés előtt hogyan készül általában a nyers szöveg?
    • Le van fordítva angolra
    • Egy tokenizátor tokenekre osztja
    • Hangra konvertálják
    • Nyers karakterként marad feldolgozás nélkül
  7. During next-token training, what is teacher forcing?
    • The model receives future target tokens before the input
    • The model randomly changes the tokenizer at every step
    • The model receives the ground-truth preceding tokens when predicting the next token
    • The model always samples its own previous prediction during training
  8. What mismatch can arise because generation feeds back model-produced tokens?
    • The model can no longer use attention
    • The vocabulary disappears after the first token
    • The model’s loss is computed only on images
    • Errors in generated prefixes can affect later predictions, unlike training on the ground-truth prefix