คืออะไร โทเค็น?

จำนวนโทเค็นอินพุตสูงสุดที่โมเดลภาษาสามารถประมวลผลได้ในคราวเดียว

อัลกอริธึมโทเค็นคำย่อยที่รวมคู่อักขระที่พบบ่อยที่สุดเข้ากับโทเค็นที่นำมาใช้ซ้ำได้

ส่วนประกอบของแบบจำลองที่แปลงอินพุตเป็นการเป็นตัวแทนแฝง

โมเดลที่สามารถประมวลผลหรือสร้างข้อมูลหลายประเภท เช่น ข้อความ รูปภาพ และเสียง

เทคโนโลยีที่แปลงข้อความในภาพหรือสแกนให้เป็นข้อความที่เครื่องอ่านได้

โทเค็นที่ไม่เชื่อเรื่องภาษาที่เรียนรู้หน่วยคำย่อยโดยตรงจากข้อความดิบโดยไม่ต้องแยกช่องว่างล่วงหน้า