トークン化とバイト ペア エンコーディングに関するクイズ

テキストがどのようにトークンになるか、BPE がどのように語彙を構築するかについて、わかっていることをテストします。