คำศัพท์อภิธานศัพท์ AI

โทเค็น คืออะไร?

คำนิยาม

กลุ่มข้อความที่ประมวลผลโดยโมเดลภาษา เช่น ชิ้นส่วนคำหรือสัญลักษณ์

AI เชิงสร้างสรรค์ระบบ AI ที่สร้างเนื้อหาใหม่ๆ เช่น ข้อความ รูปภาพ เสียง วิดีโอ หรือโค้ดโมเดลภาษาขนาดใหญ่ (LLM)โมเดลภาษาที่ได้รับการฝึกเกี่ยวกับคลังข้อความขนาดใหญ่เพื่อสร้างและวิเคราะห์ข้อความโมเดลต่อเนื่องหลายรูปแบบโมเดลที่สามารถประมวลผลหรือสร้างข้อมูลหลายประเภท เช่น ข้อความ รูปภาพ และเสียงประโยคชิ้นโทเค็นที่ไม่เชื่อเรื่องภาษาที่เรียนรู้หน่วยคำย่อยโดยตรงจากข้อความดิบโดยไม่ต้องแยกช่องว่างล่วงหน้าGSM8Kเกณฑ์มาตรฐานของปัญหาคำศัพท์ทางคณิตศาสตร์ในโรงเรียนประถมที่ใช้ในการประเมินการใช้เหตุผลแบบทีละขั้นตอนในแบบจำลองภาษาโทเค็นกระบวนการแยกข้อความออกเป็นโทเค็นสำหรับการป้อนโมเดล

เรียนรู้เพิ่มเติมในคำแนะนำฟรีของเรา

ดูเพิ่มเติม