Útmutatóhoz kapcsolódó kvíz · Közepes Szint
Következő token előrejelzési kvíz
Review autoregressive language-model training, causal context, teacher forcing and the difference between training and generation.
kérdés 1 -ból 8
Mit ad a következő token előrejelzési modell az egyes lépésekben?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Mit ad a következő token előrejelzési modell az egyes lépésekben?
- Valószínűségi eloszlás a következő token szókincsében
- Egyetlen rögzített szó
- A mondat fordítása
- Nyelvtani pontszám
- Milyen típusú figyelmet használ a GPT-stílusú dekóder?
- Kétirányú figyelem
- Kauzális (maszkos) figyelem, amely elrejti a jövő jelzőit
- Egyáltalán nincs odafigyelés
- Véletlen figyelem
- Mit jelent itt az „autoregresszív” generáció?
- A modell egyszerre generálja az összes tokent
- A modell visszafejlődik egy középértékre
- Minden új token hozzáfűződik, és visszacsatolódik a következő előrejelzéséhez
- A tokenek véletlenszerű sorrendben jönnek létre
- Milyen veszteségfüggvényt minimalizálnak általában az edzés során?
- Átlagos négyzetes hiba
- Zsanér elvesztése
- Koszinusz távolság
- Keresztentrópia a következő token felett
- Mit jelent a hőmérséklet emelése a mintavétel során?
- Véletlenebbé és kreatívabbá teszi a kimenetet
- A kimenetet szigorúan determinisztikussá teszi
- Növeli a szókincs méretét
- Eltávolítja a softmax réteget
- Az előrejelzés előtt hogyan készül általában a nyers szöveg?
- Le van fordítva angolra
- Egy tokenizátor tokenekre osztja
- Hangra konvertálják
- Nyers karakterként marad feldolgozás nélkül
- During next-token training, what is teacher forcing?
- The model receives future target tokens before the input
- The model randomly changes the tokenizer at every step
- The model receives the ground-truth preceding tokens when predicting the next token
- The model always samples its own previous prediction during training
- What mismatch can arise because generation feeds back model-produced tokens?
- The model can no longer use attention
- The vocabulary disappears after the first token
- The model’s loss is computed only on images
- Errors in generated prefixes can affect later predictions, unlike training on the ground-truth prefix