引導式測驗 · 中等 等級
標記化和位元組對編碼測驗
測試令牌 ID、基於頻率的 BPE 合併、位元組級覆蓋率、合併順序以及令牌計數與字數計數不同的原因。
問題 1 的 8
標記化會產生什麼供語言模型讀取?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 標記化會產生什麼供語言模型讀取?
- 令牌,是映射到文字片段的整數 ID
- 原始音訊波形
- 像素網格
- 編譯後的機器碼
- 位元組對編碼如何建構其詞彙表?
- 透過為字典中的每個整個單字分配一個標記
- 透過重複合併最頻繁的相鄰符號對
- 透過隨機分組字符
- 首先將文字翻譯成另一種語言
- 與字級標記化相比,BPE 等子字方法能解決什麼問題?
- 他們使每個句子都成為一個標記
- 它們消除了對任何詞彙的需要
- 他們透過將罕見或看不見的單字分成可重複使用的片段來處理它們
- 他們只為英語工作
- GPT 模型中使用的位元組級 BPE 有什麼優點?
- 對於所有語言,它使用的標記比任何其他方法都要少
- 它消除了訓練模型的需要
- 它只編碼英文字母
- 它可以表示任何 Unicode 文本,包括表情符號和任何語言,不會出現詞彙表以外的錯誤
- 為什麼模型的標記計數通常與句子中的單字數不同?
- 空格、大寫和罕見單字會改變文字的分割方式,一個單字可以變成多個標記
- 令牌以隨機語言計算
- 每個單字始終恰好是兩個標記
- 令牌計數僅取決於標點符號
- 位元組對編碼演算法最初是從哪個領域借用的?
- 影像渲染
- 資料壓縮
- 資料庫索引
- 密碼學
- After BPE training creates its vocabulary, what does an encoder use to tokenize new text?
- A new merge ranking learned separately for each sentence
- A dictionary of whole words only
- The learned vocabulary and ordered merge rules applied to the input symbols
- A translation table that changes the text language
- Why can byte-level BPE encode a character it never saw as a whole token during training?
- The tokenizer invents new model parameters for each character
- It drops every unseen character
- The model automatically translates it to English first
- The UTF-8 input can be represented as a sequence of bytes from a finite base alphabet