引導式測驗 · 中等 等級

標記化和位元組對編碼測驗

測試令牌 ID、基於頻率的 BPE 合併、位元組級覆蓋率、合併順序以及令牌計數與字數計數不同的原因。

問題 1 的 8

標記化會產生什麼供語言模型讀取?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 標記化會產生什麼供語言模型讀取?
    • 令牌,是映射到文字片段的整數 ID
    • 原始音訊波形
    • 像素網格
    • 編譯後的機器碼
  2. 位元組對編碼如何建構其詞彙表?
    • 透過為字典中的每個整個單字分配一個標記
    • 透過重複合併最頻繁的相鄰符號對
    • 透過隨機分組字符
    • 首先將文字翻譯成另一種語言
  3. 與字級標記化相比,BPE 等子字方法能解決什麼問題?
    • 他們使每個句子都成為一個標記
    • 它們消除了對任何詞彙的需要
    • 他們透過將罕見或看不見的單字分成可重複使用的片段來處理它們
    • 他們只為英語工作
  4. GPT 模型中使用的位元組級 BPE 有什麼優點?
    • 對於所有語言,它使用的標記比任何其他方法都要少
    • 它消除了訓練模型的需要
    • 它只編碼英文字母
    • 它可以表示任何 Unicode 文本,包括表情符號和任何語言,不會出現詞彙表以外的錯誤
  5. 為什麼模型的標記計數通常與句子中的單字數不同?
    • 空格、大寫和罕見單字會改變文字的分割方式,一個單字可以變成多個標記
    • 令牌以隨機語言計算
    • 每個單字始終恰好是兩個標記
    • 令牌計數僅取決於標點符號
  6. 位元組對編碼演算法最初是從哪個領域借用的?
    • 影像渲染
    • 資料壓縮
    • 資料庫索引
    • 密碼學
  7. After BPE training creates its vocabulary, what does an encoder use to tokenize new text?
    • A new merge ranking learned separately for each sentence
    • A dictionary of whole words only
    • The learned vocabulary and ordered merge rules applied to the input symbols
    • A translation table that changes the text language
  8. Why can byte-level BPE encode a character it never saw as a whole token during training?
    • The tokenizer invents new model parameters for each character
    • It drops every unseen character
    • The model automatically translates it to English first
    • The UTF-8 input can be represented as a sequence of bytes from a finite base alphabet