引導式測驗 · 中等 等級

下一個令牌預測測驗

回顧自回歸語言模型訓練、因果上下文、教師強制以及訓練和生成之間的差異。

相關引導路徑下一個代幣預測
問題 1 的 8

下一個令牌預測模型在每一步輸出什麼?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 下一個令牌預測模型在每一步輸出什麼?
    • 下一個標記的詞彙表的機率分佈
    • 單一固定詞
    • 這句話的翻譯
    • 文法分數
  2. GPT 風格的解碼器使用哪種類型的注意力?
    • 雙向注意力
    • 隱藏未來代幣的因果(掩蓋)注意力
    • 完全沒有關注
    • 隨機關注
  3. 這裡的「自回歸」世代是什麼意思?
    • 該模型一次產生所有令牌
    • 模型回歸到平均值
    • 每個新令牌都會被附加並反饋以預測下一個
    • 令牌按隨機順序生成
  4. 在訓練過程中通常最小化什麼損失函數?
    • 均方誤差
    • 鉸鏈損失
    • 餘弦距離
    • 下一個標記的交叉熵
  5. 採樣時升高溫度有什麼作用?
    • 讓輸出更加隨機和富有創意
    • 使輸出嚴格確定
    • 增加詞彙量
    • 刪除softmax層
  6. 在預測之前,原始文字通常是如何準備的?
    • 它被翻譯成英文
    • 它被分詞器分割成標記
    • 它被轉換為音頻
    • 它作為原始字元保留,不進行任何處理
  7. During next-token training, what is teacher forcing?
    • The model receives future target tokens before the input
    • The model randomly changes the tokenizer at every step
    • The model receives the ground-truth preceding tokens when predicting the next token
    • The model always samples its own previous prediction during training
  8. What mismatch can arise because generation feeds back model-produced tokens?
    • The model can no longer use attention
    • The vocabulary disappears after the first token
    • The model’s loss is computed only on images
    • Errors in generated prefixes can affect later predictions, unlike training on the ground-truth prefix