引導式測驗 · 簡單 等級

語言建模測驗

測試自回歸機率、n 元語法限制、資料派生目標、生成、損失、取樣、觀察到的訓練前綴和聯合機率。

相關引導路徑語言建模
問題 1 的 8

在所述自回歸語言模型公式中,從前置標記上下文預測的是什麼?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 在所述自回歸語言模型公式中,從前置標記上下文預測的是什麼?
    • 下一個標記的機率分佈
    • 原始檔案的字母排序順位
    • 僅來自裝置的溫度測量
    • 必填的影像標籤,且不含序列資訊
  2. 在短歷史 n-gram 語言模型中應考慮哪些限制?
    • 要求所有 n-gram 模型即使使用平滑也拒絕每個未見過的序列
    • 保證無限的歷史
    • 僅處理影像的需求
    • 受限的上下文以及在未使用平滑時未見續寫的零機率可能性
  3. 為什麼下一個詞語的語言模型預訓練可以在不為每個位置提供單獨類別標註的情況下取得目標?
    • 模型沒有訓練目標
    • 目標的下一個詞已經存在於觀測到的文字中
    • 所有訓練文字必須由相同的模型產生
    • 每個位置都需要外部影像分類器
  4. 自回歸文本生成如何使用選定的延續標記?
    • 它在一步中獨立預測每個未來標記
    • 它在下一個預測之前丟棄每個已選標記
    • 它將標記追加並使用可用的先前輸出作為後續預測的上下文
    • 它將訓練標籤更改為未來部署結果
  5. 在所述自回歸下一標記訓練設置中,哪個目標通常被最小化?
    • 字母標記ID值之間的平方數值距離
    • 輸出文件名中的標記數量
    • 僅對圖像像素位置使用鋸齒損失
    • 觀測到的目標標記的交叉熵或負對數似然
  6. 溫度和 top-p 選擇在採樣語言模型生成期間會影響什麼?
    • 模型分數如何選擇延續標記
    • 每個 token 後的訓練層數
    • 保證所有輸出聲明皆成真
    • 在每個觀測到的訓練序列中寫入的標籤
  7. 在教師強制的下一個 token 訓練期間,目標 token 的前置上下文來源於哪裡?
    • 僅來自模型自由抽樣的先前輸出
    • 在每個位置隨機產生的替代語料庫
    • 觀測到的訓練序列
    • 部署後提供的最終評估標籤
  8. 已說明的兩個 token 前綴,其第一個 token 的機率為 0.5,且在已知第一個 token 的情況下第二個 token 的機率為 0.2。其聯合前綴機率是多少?
    • 0.7
    • 0.1
    • 0.4
    • 0.3