Kvíz spojený s průvodcem · Střední úroveň

Kvíz s predikcí dalšího tokenu

Zopakujte si autoregresivní jazykový model školení, kauzální kontext, vynucování učitelů a rozdíl mezi školením a generací.

Související vodicí cestyDalší předpověď tokenu
Otázka 1 z 8

Co přináší model predikce dalšího tokenu v každém kroku?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Co přináší model predikce dalšího tokenu v každém kroku?
    • Distribuce pravděpodobnosti ve slovní zásobě pro další token
    • Jedno pevné slovo
    • Překlad věty
    • Gramatické skóre
  2. Jaký typ pozornosti používá dekodér ve stylu GPT?
    • Obousměrná pozornost
    • Kauzální (maskovaná) pozornost, která skrývá budoucí žetony
    • Žádná pozornost
    • Náhodná pozornost
  3. Co zde znamená „autoregresivní“ generace?
    • Model generuje všechny tokeny najednou
    • Model se vrací ke střední hodnotě
    • Každý nový token je připojen a vrácen zpět, aby bylo možné předpovědět další
    • Tokeny jsou generovány v náhodném pořadí
  4. Jaká ztrátová funkce je během tréninku obvykle minimalizována?
    • Střední kvadratická chyba
    • Ztráta závěsu
    • Kosinusová vzdálenost
    • Křížová entropie na dalším tokenu
  5. Co dělá zvýšení teploty během vzorkování?
    • Dělá výstup náhodnějším a kreativnějším
    • Dělá výstup přísně deterministický
    • Zvyšuje velikost slovní zásoby
    • Odstraňuje vrstvu softmax
  6. Jak se před predikcí obvykle připravuje nezpracovaný text?
    • Je přeložena do angličtiny
    • Tokenizér je rozdělen na tokeny
    • Převádí se na zvuk
    • Je ponechán jako surové znaky bez zpracování
  7. Co učitel nutí během školení dalšího tokenu?
    • Model obdrží budoucí cílové tokeny před vstupem
    • Model náhodně mění tokenizér na každém kroku
    • Model obdrží předchozí tokeny základní pravdy, když předpovídá další token
    • Model vždy během tréninku vzorkuje svou vlastní předchozí předpověď
  8. Jaký nesoulad může nastat, protože generace poskytuje zpětnou vazbu tokenů vyrobených modelem?
    • Modelka už nemůže používat pozornost
    • Slovní zásoba zmizí po prvním žetonu
    • Ztráta modelu se počítá pouze na snímcích
    • Chyby ve vygenerovaných prefixech mohou ovlivnit pozdější předpovědi, na rozdíl od trénování na prefixu základní pravdy