ガイド連動クイズ · 中 レベル

トークン化とバイト ペア エンコーディングに関するクイズ

トークン ID、頻度ベースの BPE マージ、バイトレベルのカバレッジ、マージ順序、およびトークン数がワード数と異なる理由をテストします。

関連するガイドパストークン化とバイトペアエンコーディング
質問 1 の 8

トークン化は言語モデルを読み取るために何を生成しますか?

すべての質問をプレビューする8 質問

クイズに答えると、答えと解説が表示されます。

  1. トークン化は言語モデルを読み取るために何を生成しますか?
    • トークン: テキストの一部にマッピングされた整数 ID
    • 生のオーディオ波形
    • ピクセルグリッド
    • コンパイルされたマシンコード
  2. バイト ペア エンコーディングはどのように語彙を構築するのでしょうか?
    • 辞書内の単語全体に 1 つのトークンを割り当てることによって
    • 最も頻繁に使用される隣接するシンボルのペアを繰り返しマージすることによって
    • キャラクターをランダムにグループ化することで
    • まずテキストを別の言語に翻訳する
  3. BPE のようなサブワード手法は、単語レベルのトークン化と比較してどのような問題を解決しますか?
    • 彼らはすべての文を正確に 1 つのトークンにします
    • 語彙は一切必要ありません
    • 珍しい単語や見たことのない単語を、再利用可能なフラグメントに分割することで処理します。
    • 彼らは英語でのみ機能します
  4. GPT モデルで使用されるバイトレベル BPE の利点は何ですか?
    • すべての言語で他の方法よりもトークンの使用量が少なくなります。
    • モデルをトレーニングする必要がなくなります
    • 英語の文字のみをエンコードします
    • 絵文字やあらゆる言語を含むあらゆる Unicode テキストを、語彙不足になることなく表現できます。
  5. モデルのトークン数が文内の単語数と異なることが多いのはなぜですか?
    • スペース、大文字、稀な単語によってテキストの分割方法が変わり、1 つの単語が複数のトークンになる場合があります
    • トークンはランダムな言語でカウントされます
    • 各単語は常に正確に 2 つのトークンです
    • トークン数は句読点のみに依存します
  6. バイト ペア エンコーディング アルゴリズムは最初にどの分野から借用されたものですか?
    • 画像のレンダリング
    • データ圧縮
    • データベースのインデックス作成
    • 暗号化
  7. After BPE training creates its vocabulary, what does an encoder use to tokenize new text?
    • A new merge ranking learned separately for each sentence
    • A dictionary of whole words only
    • The learned vocabulary and ordered merge rules applied to the input symbols
    • A translation table that changes the text language
  8. Why can byte-level BPE encode a character it never saw as a whole token during training?
    • The tokenizer invents new model parameters for each character
    • It drops every unseen character
    • The model automatically translates it to English first
    • The UTF-8 input can be represented as a sequence of bytes from a finite base alphabet