ガイド連動クイズ · 中 レベル

トークナイザーフリーのバイトレベルモデルに関するクイズ

raw バイト言語モデル、BLT のエントロピー ベースのパッチ、固定トークン語彙を削除する際の効率とカバレッジのトレードオフを理解します。

関連するガイドパストークナイザーのフリーバイトレベルモデル
質問 1 の 8

トークナイザーのないバイトレベルのモデルは入力ユニットとして何を読み取るのでしょうか?

すべての質問をプレビューする8 質問

クイズに答えると、答えと解説が表示されます。

  1. トークナイザーのないバイトレベルのモデルは入力ユニットとして何を読み取るのでしょうか?
    • 生のバイト (UTF-8 値 0 ～ 255)
    • 固定語彙からの単語部分のサブワード
    • スペースで区切られた単語全体
    • 事前に計算されたエンベディングのみ
  2. 生のバイトを標準のトランスフォーマーに供給することの主な実際的な欠点は何ですか?
    • バイトは英語以外のテキストを表すことはできません
    • シーケンスが大幅に長くなり、計算コストが増加する
    • 埋め込むことができるバイト値が多すぎます
    • バイトはすべての単語の意味を永久に失います
  3. Byte Latent Transformer (BLT) は、バイトをパッチのどこにグループ化するかをどのように決定しますか?
    • スペース文字ごとに分割する
    • 4 バイトの固定パッチ サイズを使用する
    • バイトレベルの予測エントロピー（不確実性）に基づく
    • 各フォワードパス中にランダムに
  4. Why can a fixed subword vocabulary use more tokens for some languages than others?
    • Subword tokenizers only accept ASCII
    • All languages have identical token boundaries
    • They cannot represent numerals
    • Its token inventory may reflect the language distribution in the data used to build it
  5. What does removing a fixed tokenizer guarantee about byte-level input?
    • The same byte alphabet can represent text from different scripts, while learned language ability still depends on data
    • The model understands every language without training data
    • It guarantees equal performance for all scripts
    • The model no longer needs a vocabulary or learned embeddings
  6. バイトレベルの処理を実証したが、遅いと批判された以前のモデルはどれですか?
    • バート
    • ByT5
    • Word2Vec
    • GPT-2
  7. What representations does BLT’s large global Transformer process?
    • Individual words from a fixed subword vocabulary only
    • 画像のピクセル
    • Dynamically sized byte patches
    • Robot joint-angle commands
  8. Which components surround the global Transformer in BLT?
    • A reward model and a value network
    • A speech vocoder and a spectrogram
    • A camera and a lidar sensor
    • A local byte encoder and a local byte decoder