การสร้างโทเค็น Sentence Piece

It made multilingual models far easier to build by treating any language the same way.

โทเค็นไนเซอร์ส่วนใหญ่จะถือว่าคำต่างๆ ถูกคั่นด้วยช่องว่าง ซึ่งใช้คำต่างๆ เช่น ญี่ปุ่น จีน หรือไทยที่ไม่ได้ใช้ Sentence Piece ซึ่งเผยแพร่โดย Google ในปี 2018 หลีกเลี่ยงสิ่งนี้โดยถือว่าอินพุตเป็นเหมือนกระแสข้อมูลดิบของอักขระ — รวมช่องว่าง — และการเรียนรู้คำศัพท์ของหน่วยคำย่อยจากข้อมูลนั้นเอง มีชื่อเสียงแทนที่ช่องว่างด้วยเครื่องหมายที่มองเห็นได้ (สัญลักษณ์เมตาที่มีลักษณะคล้ายขีดล่าง) ดังนั้นโทเค็นจึงสามารถย้อนกลับได้อย่างสมบูรณ์: คุณสามารถสร้างข้อความต้นฉบับใหม่ได้ทุกเมื่อ Sentence Piece รองรับอัลกอริธึมหลักสองอัลกอริธึม ได้แก่ Byte-Pair Encoding (BPE) และโมเดลภาษา Unigram ซึ่งวิธีหลังเป็นวิธีลายเซ็น เนื่องจากไม่จำเป็นต้องมีการสร้างโทเค็นล่วงหน้าเฉพาะภาษา ไปป์ไลน์เดียวกันจึงใช้งานได้ในหลายร้อยภาษา ซึ่งเป็นสาเหตุที่ทำให้โมเดลอย่าง T5, ALBERT และระบบหลายภาษาจำนวนมากต้องพึ่งพาสิ่งนี้