引導式測驗 · 簡單 等級

子詞標記化測驗

測試詞彙權衡、BERT WordPiece、延續標記、SentencePiece 空白、數字 ID、共享片段、Unigram 剪枝和庫。

相關引導路徑子詞標記化
問題 1 的 8

哪一種詞彙限制促使我們透過較小的可重複使用的片段來表示罕見的單字形式?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 哪一種詞彙限制促使我們透過較小的可重複使用的片段來表示罕見的單字形式?
    • 每一個較小的部分都必然有一個獨特的字典意義
    • 有限的僅單字詞彙表無法為每個可能的單字形式分配一個條目
    • 子字模型不需要數位輸入表示
    • 全詞詞彙表不能包含任何常用詞
  2. 原始 BERT 使用哪個子詞分詞器?
    • 僅單字字母索引
    • 強制每個字一個位元組的查找
    • WordPiece
    • 影像像素分割網絡
  3. 在 BERT 發布的 WordPiece 約定中,哪個前綴標記單字內部延續部分?
    • ##
    • 必需的尾隨句號
    • 每個整個單字都有一個前導加號
    • 每個後綴的大寫
  4. 什麼 SentencePiece 輸入處理屬性支援沒有顯式空白單字邊界的文字?
    • 要求每個單字兩邊都有空格
    • 它在分割之前將每個句子翻譯成英語
    • 它在訓練前刪除所有非拉丁字符
    • 它可以從原始句子進行訓練,無需特定於語言的單字預標記化
  5. 每個子詞片段在到達模型之前最終會映射到什麼?
    • 一種顏色
    • 單獨的神經網絡
    • 整數 ID
    • 音訊剪輯
  6. 如果相關的詞形共享一個可用的詞彙片段,那麼該共享可以支援什麼?
    • 確保每個標記都是正確的語言語素
    • 重複使用與該作品相關的表現形式
    • 從原始輸入中刪除每個不同的後綴
    • 要求所有相關詞接收相同的完整 ID 序列
  7. Unigram 字彙訓練與 BPE 由下而上的配對合併有何不同?
    • 每件作品都需要人類字典的定義
    • 它僅合併最頻繁的一對,直到語料庫成為一個標記
    • 無論配置如何,它都會永久刪除所有字元級覆蓋
    • 它從候選片段開始,並根據目標對它們進行修剪
  8. 為什麼 SentencePiece 不應該被視為 Unigram 演算法的另一個名稱?
    • 它是一個同時支援 Unigram 和 BPE 模型的函式庫
    • 這是BERT的##延續標記的名稱
    • 這是每個模型共享的通用 ID 到單字表
    • 它僅在英文空格上實現全詞拆分