คำศัพท์อภิธานศัพท์ AI

โทเค็น คืออะไร?

คำนิยาม

กระบวนการแยกข้อความออกเป็นโทเค็นสำหรับการป้อนโมเดล

หน้าต่างบริบทจำนวนโทเค็นอินพุตสูงสุดที่โมเดลภาษาสามารถประมวลผลได้ในคราวเดียวBPE (การเข้ารหัสคู่ไบต์)อัลกอริธึมโทเค็นคำย่อยที่รวมคู่อักขระที่พบบ่อยที่สุดเข้ากับโทเค็นที่นำมาใช้ซ้ำได้ตัวเข้ารหัสส่วนประกอบของแบบจำลองที่แปลงอินพุตเป็นการเป็นตัวแทนแฝงโมเดลต่อเนื่องหลายรูปแบบโมเดลที่สามารถประมวลผลหรือสร้างข้อมูลหลายประเภท เช่น ข้อความ รูปภาพ และเสียงOCR (การรู้จำอักขระด้วยแสง)เทคโนโลยีที่แปลงข้อความในภาพหรือสแกนให้เป็นข้อความที่เครื่องอ่านได้ประโยคชิ้นโทเค็นที่ไม่เชื่อเรื่องภาษาที่เรียนรู้หน่วยคำย่อยโดยตรงจากข้อความดิบโดยไม่ต้องแยกช่องว่างล่วงหน้า

เรียนรู้เพิ่มเติมในคำแนะนำฟรีของเรา

ดูเพิ่มเติม