คู่มือทางเทคนิค

Tokenization และการเข้ารหัสคู่ไบต์

โทเค็นไนซ์จะแบ่งข้อความออกเป็นหน่วยเล็กๆ ตามที่โมเดลภาษาอ่านได้จริง และการเข้ารหัสคู่ไบต์ (BPE) เป็นวิธีที่ได้รับความนิยมในการสร้างคำศัพท์นั้น

ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min

บนหน้านี้อ่าน 2 นาที
  1. ภาพรวม
  2. เจาะลึก
  3. การใช้งานจริงในโลกแห่งความเป็นจริง
  4. อนาคตของการแปลงโทเค็นและการเข้ารหัสคู่ไบต์
  5. การนำไปปฏิบัติ
  6. สำรวจต่อไป
  7. คำถามที่พบบ่อย

ภาพรวม

ทำให้การมีคำศัพท์ที่สามารถจัดการได้สมดุลกับการจัดการคำใดๆ ที่โมเดลอาจพบ

เจาะลึก

โมเดลภาษาจะไม่เห็นอักขระดิบหรือทั้งคำ โดยจะเห็นโทเค็น รหัสจำนวนเต็มที่ถูกแมปกับส่วนของข้อความ การเลือกชิ้นส่วนเหล่านั้นถือเป็นข้อดี: คำศัพท์ระดับคำมีขนาดใหญ่และทำให้คำที่มองไม่เห็นหรือสะกดผิดติดขัด ในขณะที่คำศัพท์ระดับตัวละครจะทำให้ลำดับยาวมาก การเข้ารหัสคู่ไบต์เน้นที่จุดกึ่งกลาง ยืมมาจากอัลกอริธึมการบีบอัดข้อมูลในทศวรรษ 1990 BPE เริ่มต้นจากอักขระแต่ละตัว (หรือไบต์ดิบ) และรวมคู่ที่อยู่ติดกันบ่อยที่สุดเข้ากับโทเค็นใหม่ซ้ำ ๆ เพื่อเพิ่มคำศัพท์ไปสู่คำย่อยทั่วไป คำที่ใช้บ่อยๆ จะกลายเป็นสัญลักษณ์เดี่ยวๆ ในขณะที่คำที่หายากจะแบ่งออกเป็นเศษๆ ที่นำมาใช้ซ้ำได้ BPE ระดับไบต์ซึ่งใช้โดยโมเดล GPT ทำงานบนไบต์ดิบ เพื่อให้สามารถแสดงข้อความ Unicode ใดๆ รวมถึงอิโมจิและภาษาใดๆ ก็ได้ โดยไม่มีข้อผิดพลาดจากคำศัพท์เลย

การใช้งานจริงในโลกแห่งความเป็นจริง

โมเดล GPT และ Llama ใช้โทเค็นสไตล์ BPE เพื่อเปลี่ยนข้อความแจ้งเป็นรหัสโทเค็นที่เครือข่ายดำเนินการ

ราคา API และขีดจำกัดหน้าต่างบริบทจะวัดเป็นโทเค็น ดังนั้นโทเค็นจึงส่งผลโดยตรงต่อต้นทุนและจำนวนข้อความที่พอดี

การจัดการอีโมจิ โค้ด และคำที่หายากอย่างงดงามโดยการแยกออกเป็นคำย่อยหรือแฟรกเมนต์ไบต์ที่นำมาใช้ซ้ำได้

รองรับหลายภาษาในรูปแบบเดียวโดยไม่ต้องมีพจนานุกรมแยกต่างหากต่อภาษา ผ่านการเข้ารหัสระดับไบต์

อนาคตของการแปลงโทเค็นและการเข้ารหัสคู่ไบต์

Tokenization อยู่ระหว่างการคิดใหม่อย่างแข็งขัน โมเดลระดับไบต์และอักขระ เช่น ByT5 และสถาปัตยกรรมไร้โทเค็นหรือสถาปัตยกรรม 'ไบต์แฝง' ที่เกิดขึ้นใหม่ มีเป้าหมายที่จะทิ้งคำศัพท์คงที่ทั้งหมด เพื่อให้โมเดลจัดการกับอินพุตและภาษาใด ๆ ได้อย่างเท่าเทียมกัน นักวิจัยยังจัดการกับความเป็นธรรมของโทเค็นด้วย — ภาษาที่ไม่ใช่ภาษาอังกฤษและทรัพยากรต่ำจำนวนมากในปัจจุบันมีราคาโทเค็นต่อประโยคสูงกว่ามาก ทำให้ราคาสูงขึ้นและลดบริบทที่มีประสิทธิภาพลง คาดว่าโทเค็นไนเซอร์จะได้รับการปรับแต่งสำหรับโค้ด คณิตศาสตร์ และความสมดุลในหลายภาษา รวมถึงการทดลองอย่างต่อเนื่องเพื่อผลักดันขอบเขตกลับไปสู่ไบต์ดิบ

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • ต้นทุนและงบประมาณ. การตัดสินใจด้านสถาปัตยกรรมขับเคลื่อนประสิทธิภาพและต้นทุนการดำเนินงานเป็นเวลาหลายปี
  • การตัดสินใจที่ชัดเจนยิ่งขึ้น. การศึกษาด้านเทคนิคช่วยให้ทีมเลือกกลุ่มที่เหมาะสม ไม่ใช่แค่กลุ่มใหม่ล่าสุด
  • การควบคุมคุณภาพ. ตัวเลือกทางวิศวกรรมที่ดีกว่าจะช่วยลดเหตุการณ์ด้านความน่าเชื่อถือในการผลิต

ระวัง

  • การเพิ่มประสิทธิภาพเกณฑ์มาตรฐานหนึ่งรายการสามารถซ่อนจุดอ่อนของระบบในวงกว้างได้
  • ต้นทุนโครงสร้างพื้นฐานและการบำรุงรักษามักถูกประเมินต่ำไป
  • ช่องว่างด้านความปลอดภัยและความสามารถในการสังเกตสามารถเพิ่มขึ้นได้เมื่อระบบมีความซับซ้อนมากขึ้น

ขั้นตอนต่อไป

  1. กำหนดเป้าหมายเวลาแฝง คุณภาพ และต้นทุนก่อนนำไปใช้งาน
  2. เกณฑ์มาตรฐานภายใต้สภาวะโหลดและข้อมูลจริง
  3. การตรวจสอบเครื่องมือเพื่อหาข้อผิดพลาด การเบี่ยงเบน และผลกระทบต่อผู้ใช้
  4. เตรียมเส้นทางการย้อนกลับและการตอบสนองต่อเหตุการณ์ก่อนปรับขนาด

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

Take the Tokenization and Byte Pair Encoding quiz

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

Tokenization และการเข้ารหัสคู่ไบต์คืออะไร

โทเค็นไนซ์จะแบ่งข้อความออกเป็นหน่วยเล็กๆ ตามที่โมเดลภาษาอ่านได้จริง และการเข้ารหัสคู่ไบต์ (BPE) เป็นวิธีที่ได้รับความนิยมในการสร้างคำศัพท์นั้น ทำให้การมีคำศัพท์ที่สามารถจัดการได้สมดุลกับการจัดการคำใดๆ ที่โมเดลอาจพบ

โทเค็นไนซ์สร้างอะไรให้โมเดลภาษาอ่านได้

โมเดลทำงานบนโทเค็น — ID จำนวนเต็มที่ใช้แทนอักขระ คำย่อย หรือคำ — แทนที่จะเป็นสตริงข้อความดิบ

Byte Pair Encoding สร้างคำศัพท์ได้อย่างไร

BPE เริ่มต้นจากอักขระหรือไบต์ และผสานคู่ที่อยู่ติดกันบ่อยที่สุดอย่างตะกละตะกลาม แล้วค่อย ๆ สร้างโทเค็นคำย่อยทั่วไป

วิธีคำย่อยเช่น BPE แก้ปัญหาอะไรได้บ้างเมื่อเปรียบเทียบกับโทเค็นระดับคำ

คำศัพท์ระดับคำล้มเหลวกับคำที่มองไม่เห็น โทเค็นย่อยของคำย่อยจะแบ่งคำที่หายากออกเป็นส่วน ๆ ที่รู้จัก หลีกเลี่ยงปัญหาคำศัพท์ที่ไม่อยู่ในขณะเดียวกันก็รักษาคำศัพท์ให้สามารถจัดการได้

ข้อดีของ BPE ระดับไบต์ที่ใช้ในรุ่น GPT คืออะไร

การทำงานบนไบต์ดิบหมายถึงทุกอินพุตที่เป็นไปได้สามารถเข้ารหัสได้ ดังนั้นจึงไม่มีอักขระที่ไม่รู้จักอย่างแท้จริงโดยไม่คำนึงถึงภาษาหรือสัญลักษณ์

เหตุใดการนับโทเค็นของโมเดลจึงมักจะแตกต่างจากจำนวนคำในประโยค

การสร้างโทเค็นคำย่อยสามารถแบ่งคำเดียวออกเป็นหลายส่วนได้ และไวต่อการเว้นวรรคและตัวพิมพ์ ดังนั้นโทเค็นจึงไม่ค่อยมีจำนวนคำเท่ากัน

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →