引導式測驗 · 中等 等級
WordPiece 標記化測驗
回顧WordPiece的詞彙和貪婪分割規則,包括它在多語言BERT中的作用以及它與BPE的對比。
問題 1 的 8
WordPiece 輸出中的「##」前綴表示什麼?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- WordPiece 輸出中的「##」前綴表示什麼?
- 標記是單字內的延續部分,而不是單字首字母
- 令牌是一個特殊的分隔符,例如 [SEP]
- 該 token 在詞彙表中出現頻率最高
- 該標記是一個未知的詞彙表之外的標記
- 原始 BERT 使用的 WordPiece 詞彙量大約有多大?
- 約256個代幣
- 約 3 萬個代幣
- 約100萬個代幣
- 約500個代幣
- WordPiece 的合併標準與標準位元組對編碼有何不同?
- 它合併最稀有的對以減少詞彙量
- 它從不合併並且只使用字符
- 它透過最大化訓練資料的可能性而不是原始頻率來合併
- 它在訓練期間隨機合併對
- 如果 BERT 風格的 WordPiece 分詞器無法將單字切分為詞彙片段,它會傳回什麼?
- It always falls back to individual Unicode characters
- A random subword selected from the vocabulary
- The original word encoded as one new token
- The unknown-token marker, such as [UNK]
- 在推理時,WordPiece如何選擇如何分割單字?
- 它從左到右貪婪地匹配詞彙表中最長的子詞
- 它首先選擇盡可能短的部分
- 它嘗試所有可能的分割並對它們進行平均
- 它使用神經網路來預測分裂
- WordPiece 與哪個知名模型系列最相關?
- GPT模型
- BERT及其衍生性商品
- 駱駝模型
- Stable Diffusion
- What kind of vocabulary did multilingual BERT use across its training languages?
- A completely separate vocabulary for every language
- A vocabulary made only of complete words
- One shared WordPiece vocabulary
- A list of byte sequences with no subwords
- Which tokenizer class in Hugging Face Transformers constructs a BERT tokenizer that uses WordPiece?
- GPT2Tokenizer
- RobertaTokenizer
- CLIPTokenizer
- BertTokenizer