คำศัพท์อภิธานศัพท์ AI

คืออะไร โทเค็น?

คำนิยาม

กลุ่มข้อความที่ประมวลผลโดยโมเดลภาษา เช่น ชิ้นส่วนคำหรือสัญลักษณ์

ข้อกำหนดที่เกี่ยวข้อง

AI เชิงสร้างสรรค์
ระบบ AI ที่สร้างเนื้อหาใหม่ๆ เช่น ข้อความ รูปภาพ เสียง วิดีโอ หรือโค้ด
โมเดลภาษาขนาดใหญ่ (LLM)
โมเดลภาษาที่ได้รับการฝึกเกี่ยวกับคลังข้อความขนาดใหญ่เพื่อสร้างและวิเคราะห์ข้อความ
โมเดลต่อเนื่องหลายรูปแบบ
โมเดลที่สามารถประมวลผลหรือสร้างข้อมูลหลายประเภท เช่น ข้อความ รูปภาพ และเสียง
ประโยคชิ้น
โทเค็นที่ไม่เชื่อเรื่องภาษาที่เรียนรู้หน่วยคำย่อยโดยตรงจากข้อความดิบโดยไม่ต้องแยกช่องว่างล่วงหน้า
GSM8K
เกณฑ์มาตรฐานของปัญหาคำศัพท์ทางคณิตศาสตร์ในโรงเรียนประถมที่ใช้ในการประเมินการใช้เหตุผลแบบทีละขั้นตอนในแบบจำลองภาษา
โทเค็น
กระบวนการแยกข้อความออกเป็นโทเค็นสำหรับการป้อนโมเดล

เรียนรู้เพิ่มเติมในคำแนะนำฟรีของเรา

ดูเพิ่มเติม