トークン化クイズ

クイズに答えると、答えと解説が表示されます。

1. 言語モデルのトークンは、目に見える単語や文字とどのように区別されるべきでしょうか?
   • 常に 1 つの完全な英単語と等しくなければなりません
   • これは、ワード、サブワード、文字、またはバイト派生部分にまたがるトークナイザー定義の単位です。
   • 常に 1 つの可視 Unicode 文字と等しくなければなりません
   • 必ず API アクセスパスワードです
2. BPE、WordPiece、Unigram トークン化はどのファミリーに含まれますか?
   • 全文語彙のみ
   • 固定画像ピクセルエンコーディングのみ
   • サブワードのトークン化方法
   • アルファベット順の単語のみの並べ替え
3. トークン数が同じテキスト内の表示される文字数と異なるのはなぜですか?
   • トークンには、複数の文字またはバイト由来のフラグメントを含めることができます
   • すべてのトークナイザーはエンコード前に母音を削除します
   • すべての文字は正確に 10 個の ID にマップされる必要があります
   • トークン化では常に単語が画像に置き換えられます
4. 指定された言語モデルとエンコード設定に対して正確な入力トークン数を取得するにはどうすればよいですか?
   • すべての単語数に 1 つの固定普遍数を掛けます
   • 文末のピリオドのみをカウントする
   • すべての英単語が正確に 1 つのトークンであると仮定します
   • 一致するトークナイザーでエンコードし、結果の ID をカウントします。
5. コンテキストの容量とトークンの使用量を測定するインターフェイスの場合、トークナイザー固有のカウントが重要なのはなぜですか?
   • すべてのインターフェースが同一の価格設定を使用することを保証します
   • すべての入力が同じ単語数であることを証明します
   • トークンベースの制限または使用ルールの下で入力がどのようにカウントされるかを決定します。
   • 表示フォントのみを変更します
6. 異なるトークナイザー語彙の下で、比較可能なテキストが異なる数の部分に分割できるのはなぜですか?
   • どの言語も必ず同じ学習語彙を持っています
   • 利用可能なピースと前処理は異なる場合があります
   • 各トークナイザーは文ごとに 1 つの ID を使用する必要があります
   • 言語を変更しても、すべてのセグメンテーションは常に変更されません。
7. 2 つのトークナイザー語彙で同一の整数 ID があると、モデルと入力の互換性が確立されないのはなぜですか?
   • すべての語彙は、グローバルに固定された ID とピースのテーブルを共有します。
   • ID 自体が汎用辞書の定義をエンコードします
   • 語彙にはトークン数のみが含まれ、マッピングは含まれません。
   • 2 つのマッピングにより、その番号を異なる部分に割り当てることができます
8. トークンシーケンスを準備するときのパディングとトランケーションはどう異なりますか?
   • パディングによりフィラー位置が追加されます。切り捨ては長さルールに基づいて位置を削除します
   • パディングにより最長のシーケンスが削除されます。切り詰めによりフィラーが追加される
   • どちらの操作でも必然的に最も有益な単語が選択されます
   • どちらもシーケンスの長さを変更せずに数値 ID ボキャブラリーのみを変更します。