引導式測驗 · 中等 等級

WordPiece 標記化測驗

回顧WordPiece的詞彙和貪婪分割規則,包括它在多語言BERT中的作用以及它與BPE的對比。

相關引導路徑詞塊標記化
問題 1 的 8

WordPiece 輸出中的「##」前綴表示什麼?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. WordPiece 輸出中的「##」前綴表示什麼?
    • 標記是單字內的延續部分,而不是單字首字母
    • 令牌是一個特殊的分隔符,例如 [SEP]
    • 該 token 在詞彙表中出現頻率最高
    • 該標記是一個未知的詞彙表之外的標記
  2. 原始 BERT 使用的 WordPiece 詞彙量大約有多大?
    • 約256個代幣
    • 約 3 萬個代幣
    • 約100萬個代幣
    • 約500個代幣
  3. WordPiece 的合併標準與標準位元組對編碼有何不同?
    • 它合併最稀有的對以減少詞彙量
    • 它從不合併並且只使用字符
    • 它透過最大化訓練資料的可能性而不是原始頻率來合併
    • 它在訓練期間隨機合併對
  4. 如果 BERT 風格的 WordPiece 分詞器無法將單字切分為詞彙片段,它會傳回什麼?
    • It always falls back to individual Unicode characters
    • A random subword selected from the vocabulary
    • The original word encoded as one new token
    • The unknown-token marker, such as [UNK]
  5. 在推理時,WordPiece如何選擇如何分割單字?
    • 它從左到右貪婪地匹配詞彙表中最長的子詞
    • 它首先選擇盡可能短的部分
    • 它嘗試所有可能的分割並對它們進行平均
    • 它使用神經網路來預測分裂
  6. WordPiece 與哪個知名模型系列最相關?
    • GPT模型
    • BERT及其衍生性商品
    • 駱駝模型
    • Stable Diffusion
  7. What kind of vocabulary did multilingual BERT use across its training languages?
    • A completely separate vocabulary for every language
    • A vocabulary made only of complete words
    • One shared WordPiece vocabulary
    • A list of byte sequences with no subwords
  8. Which tokenizer class in Hugging Face Transformers constructs a BERT tokenizer that uses WordPiece?
    • GPT2Tokenizer
    • RobertaTokenizer
    • CLIPTokenizer
    • BertTokenizer