คืออะไร โทเค็น?
คำนิยาม
กลุ่มข้อความที่ประมวลผลโดยโมเดลภาษา เช่น ชิ้นส่วนคำหรือสัญลักษณ์
ข้อกำหนดที่เกี่ยวข้อง
เรียนรู้เพิ่มเติมในคำแนะนำฟรีของเรา
SentencePiece TokenizationWordPiece TokenizationTokenizer-Free Byte-Level ModelsSpeculative Streaming and Multi-Token Prediction