学ぶ
ニュース
ツール
Jobs
用語集
認定
クイズ
使命
サポート
English
Search
⌘K
AIツール投稿
寄付
English
Search
⌘K
学ぶ
AI Guides & Foundations
ニュース
Latest AI Developments
ツール
Top AI Directory
Jobs
AI Hiring Board
用語集
AI Terms Dictionary
認定
Get Your AI Certificate
クイズ
Interactive AI Assessments
使命
Why We Exist
サポート
Help and Contact
AIツール投稿
寄付
English
← すべてのクイズに戻る
ガイド連動クイズ • 中 レベル • 6 質問
WordPie のトークン化クイズ
WordPiec がテキストを分割する方法と、それが使用される理由についての理解をテストします。
関連するガイドパス
単語のトークン化
質問 1 の 6
正解: 0
WordPiece 出力の「##」プレフィックスは何を示していますか?
ヒントが必要ですか?
トークンは単語の先頭ではなく、単語内の継続部分です
トークンは [SEP] のような特殊な区切り文字です。
トークンは語彙内で最も高い頻度を持ちます
トークンは未知の語彙外マーカーです