引導式測驗 · 中等 等級

無分詞器的位元組級模型測驗

了解原始位元組語言模型、BLT 基於熵的補丁,以及刪除固定標記詞彙的效率和覆蓋率權衡。

問題 1 的 8

無分詞器的位元組級模型讀取什麼作為其輸入單元?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 無分詞器的位元組級模型讀取什麼作為其輸入單元?
    • 原始位元組(UTF-8 值 0-255)
    • 來自固定詞彙表的單字子詞
    • 整個單字用空格分隔
    • 僅預先計算的嵌入
  2. 將原始位元組饋送到標準變壓器的主要實際缺點是什麼?
    • 位元組不能代表非英文文本
    • 序列變得更長,計算成本增加
    • 有太多可能的位元組值需要嵌入
    • 位元組永久失去所有單字意義
  3. 位元組潛在轉換器 (BLT) 如何決定將位元組分組到補丁中的位置?
    • 透過分割每個空格字符
    • 使用 4 個位元組的固定補丁大小
    • 基於位元組級預測熵(不確定性)
    • 在每次前向傳播過程中隨機
  4. 為什麼固定子詞詞彙表對於某些語言可以使用比其他語言更多的標記?
    • Subword tokenizers only accept ASCII
    • All languages have identical token boundaries
    • They cannot represent numerals
    • Its token inventory may reflect the language distribution in the data used to build it
  5. 刪除固定分詞器對位元組級輸入有何保證?
    • The same byte alphabet can represent text from different scripts, while learned language ability still depends on data
    • The model understands every language without training data
    • It guarantees equal performance for all scripts
    • The model no longer needs a vocabulary or learned embeddings
  6. 哪個早期模型展示了位元組級處理,但因速度慢而受到批評?
    • 伯特
    • 透過T5
    • 詞向量
    • GPT-2
  7. What representations does BLT’s large global Transformer process?
    • Individual words from a fixed subword vocabulary only
    • 影像像素
    • Dynamically sized byte patches
    • Robot joint-angle commands
  8. Which components surround the global Transformer in BLT?
    • A reward model and a value network
    • A speech vocoder and a spectrogram
    • A camera and a lidar sensor
    • A local byte encoder and a local byte decoder