Kvíz spojený s průvodcem · Střední úroveň
Kvíz s predikcí dalšího tokenu
Zopakujte si autoregresivní jazykový model školení, kauzální kontext, vynucování učitelů a rozdíl mezi školením a generací.
Otázka 1 z 8
Co přináší model predikce dalšího tokenu v každém kroku?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Co přináší model predikce dalšího tokenu v každém kroku?
- Distribuce pravděpodobnosti ve slovní zásobě pro další token
- Jedno pevné slovo
- Překlad věty
- Gramatické skóre
- Jaký typ pozornosti používá dekodér ve stylu GPT?
- Obousměrná pozornost
- Kauzální (maskovaná) pozornost, která skrývá budoucí žetony
- Žádná pozornost
- Náhodná pozornost
- Co zde znamená „autoregresivní“ generace?
- Model generuje všechny tokeny najednou
- Model se vrací ke střední hodnotě
- Každý nový token je připojen a vrácen zpět, aby bylo možné předpovědět další
- Tokeny jsou generovány v náhodném pořadí
- Jaká ztrátová funkce je během tréninku obvykle minimalizována?
- Střední kvadratická chyba
- Ztráta závěsu
- Kosinusová vzdálenost
- Křížová entropie na dalším tokenu
- Co dělá zvýšení teploty během vzorkování?
- Dělá výstup náhodnějším a kreativnějším
- Dělá výstup přísně deterministický
- Zvyšuje velikost slovní zásoby
- Odstraňuje vrstvu softmax
- Jak se před predikcí obvykle připravuje nezpracovaný text?
- Je přeložena do angličtiny
- Tokenizér je rozdělen na tokeny
- Převádí se na zvuk
- Je ponechán jako surové znaky bez zpracování
- Co učitel nutí během školení dalšího tokenu?
- Model obdrží budoucí cílové tokeny před vstupem
- Model náhodně mění tokenizér na každém kroku
- Model obdrží předchozí tokeny základní pravdy, když předpovídá další token
- Model vždy během tréninku vzorkuje svou vlastní předchozí předpověď
- Jaký nesoulad může nastat, protože generace poskytuje zpětnou vazbu tokenů vyrobených modelem?
- Modelka už nemůže používat pozornost
- Slovní zásoba zmizí po prvním žetonu
- Ztráta modelu se počítá pouze na snímcích
- Chyby ve vygenerovaných prefixech mohou ovlivnit pozdější předpovědi, na rozdíl od trénování na prefixu základní pravdy