引導式測驗 · 中等 等級
下一個令牌預測測驗
回顧自回歸語言模型訓練、因果上下文、教師強制以及訓練和生成之間的差異。
問題 1 的 8
下一個令牌預測模型在每一步輸出什麼?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 下一個令牌預測模型在每一步輸出什麼?
- 下一個標記的詞彙表的機率分佈
- 單一固定詞
- 這句話的翻譯
- 文法分數
- GPT 風格的解碼器使用哪種類型的注意力?
- 雙向注意力
- 隱藏未來代幣的因果(掩蓋)注意力
- 完全沒有關注
- 隨機關注
- 這裡的「自回歸」世代是什麼意思?
- 該模型一次產生所有令牌
- 模型回歸到平均值
- 每個新令牌都會被附加並反饋以預測下一個
- 令牌按隨機順序生成
- 在訓練過程中通常最小化什麼損失函數?
- 均方誤差
- 鉸鏈損失
- 餘弦距離
- 下一個標記的交叉熵
- 採樣時升高溫度有什麼作用?
- 讓輸出更加隨機和富有創意
- 使輸出嚴格確定
- 增加詞彙量
- 刪除softmax層
- 在預測之前,原始文字通常是如何準備的?
- 它被翻譯成英文
- 它被分詞器分割成標記
- 它被轉換為音頻
- 它作為原始字元保留,不進行任何處理
- During next-token training, what is teacher forcing?
- The model receives future target tokens before the input
- The model randomly changes the tokenizer at every step
- The model receives the ground-truth preceding tokens when predicting the next token
- The model always samples its own previous prediction during training
- What mismatch can arise because generation feeds back model-produced tokens?
- The model can no longer use attention
- The vocabulary disappears after the first token
- The model’s loss is computed only on images
- Errors in generated prefixes can affect later predictions, unlike training on the ground-truth prefix