Maswali yanayounganishwa na mwongozo · Kati Kiwango

Maswali ya Utabiri wa Tokeni Inayofuata

Kagua mafunzo ya modeli ya lugha moja kwa moja, muktadha wa sababu, ulazimishaji wa walimu na tofauti kati ya mafunzo na kizazi.

Njia za mwongozo zinazohusianaUtabiri wa Tokeni Inayofuata
Swali 1 ya 8

Ni nini matokeo ya mfano wa utabiri wa ishara inayofuata katika kila hatua?

Hakiki kila swali8 maswali

Majibu na maelezo huonekana unapojibu maswali.

  1. Ni nini matokeo ya mfano wa utabiri wa ishara inayofuata katika kila hatua?
    • Usambazaji wa uwezekano juu ya msamiati wa tokeni inayofuata
    • Neno moja lililowekwa
    • Tafsiri ya sentensi
    • Alama ya sarufi
  2. Ni aina gani ya umakini ambayo avkodare ya mtindo wa GPT hutumia?
    • Uangalifu wa pande mbili
    • Tahadhari ya causal (masked) ambayo inaficha ishara za baadaye
    • Hakuna umakini hata kidogo
    • Uangalifu wa nasibu
  3. Je, kizazi cha 'autoregressive' kinamaanisha nini hapa?
    • Mfano hutoa ishara zote mara moja
    • Mfano unarudi kwa thamani ya wastani
    • Kila tokeni mpya huongezwa na kurudishwa ndani ili kutabiri ijayo
    • Tokeni hutolewa kwa mpangilio wa nasibu
  4. Ni utendakazi gani wa upotezaji ambao kawaida hupunguzwa wakati wa mafunzo?
    • Wastani wa hitilafu ya mraba
    • Kupoteza kwa bawaba
    • Umbali wa Cosine
    • Cross-entropy juu ya ishara inayofuata
  5. Je, kuongeza joto wakati wa sampuli hufanya nini?
    • Hufanya pato kuwa nasibu na ubunifu zaidi
    • Hufanya pato kuamuliwa madhubuti
    • Huongeza ukubwa wa msamiati
    • Huondoa safu ya softmax
  6. Kabla ya utabiri, maandishi ghafi hutayarishwa vipi?
    • Inatafsiriwa kwa Kiingereza
    • Imegawanywa katika ishara na tokenizer
    • Inabadilishwa kuwa sauti
    • Imesalia kama herufi mbichi bila kuchakatwa
  7. During next-token training, what is teacher forcing?
    • The model receives future target tokens before the input
    • The model randomly changes the tokenizer at every step
    • The model receives the ground-truth preceding tokens when predicting the next token
    • The model always samples its own previous prediction during training
  8. What mismatch can arise because generation feeds back model-produced tokens?
    • The model can no longer use attention
    • The vocabulary disappears after the first token
    • The model’s loss is computed only on images
    • Errors in generated prefixes can affect later predictions, unlike training on the ground-truth prefix