คู่มือ AI ภาษา

การสร้างโทเค็น Word Piece

ภาพรวม

Word Piece Tokenization เป็นส่วนหนึ่งของสแต็กภาษา-AI ที่ใช้ในการอ่าน สร้าง จำแนก และแปลงข้อความและคำพูดตามขนาด

เจาะลึก

Word Piece สร้างคำศัพท์ของหน่วยคำย่อย แทนที่จะเป็นทั้งคำหรืออักขระตัวเดียว เริ่มต้นจากตัวละครแต่ละตัว โดยผสมผสานสัญลักษณ์คู่เข้าด้วยกันอย่างตะกละตะกลามซึ่งเพิ่มโอกาสของคลังข้อมูลการฝึกมากที่สุด ทำซ้ำจนกระทั่งถึงขนาดคำศัพท์เป้าหมาย (BERT ใช้ประมาณ 30,000 โทเค็น) ในการอนุมาน ระบบจะโทเค็นจากซ้ายไปขวาอย่างตะกละตะกลาม โดยจับคู่คำย่อยที่ยาวที่สุดในคำศัพท์ จากนั้นจึงดำเนินการต่อในส่วนที่เหลือ ส่วนต่อเนื่องในคำจะมีเครื่องหมาย '##' นำหน้า ดังนั้น 'กำลังเล่น' จึงกลายเป็น 'เล่น' + '##ing' วิธีนี้ช่วยแก้ปัญหาที่ไม่มีคำศัพท์: คำที่หายากหรือที่มองไม่เห็นนั้นถูกแยกย่อยเป็นส่วนที่รู้จัก เหลือเพียงอักขระตัวเดียวหากจำเป็น ในขณะที่คำทั่วไปยังคงเป็นโทเค็นเดียวเพื่อประสิทธิภาพ

ข้อมูลเชิงลึกทางเทคนิค

Word Piece แตกต่างจากการเข้ารหัส Byte-Pair ในเกณฑ์การรวม BPE จะรวมคู่ที่อยู่ติดกันบ่อยที่สุด Word Piece ผสานคู่ที่เพิ่มความเป็นไปได้สูงสุดในข้อมูลการฝึกอบรม โดยเลือกคู่ที่มีความถี่ร่วมมากที่สุดเกินกว่าผลคูณของความถี่ของชิ้นส่วน เครื่องหมาย '##' แยกความแตกต่างระหว่างส่วนเริ่มต้นของคำจากส่วนต่อเนื่อง โดยปล่อยให้ tokenizer สร้างขอบเขตของคำขึ้นใหม่อย่างไม่คลุมเครือเมื่อถอดรหัสกลับไปเป็นข้อความ

การเรียนรู้การใช้ Tokenization ของ Word Piece

Word Piece เป็นอัลกอริธึมการแปลงโทเค็นคำย่อยที่ขับเคลื่อน BERT และโมเดล Google จำนวนมาก โดยแยกคำออกเป็นส่วนย่อยที่นำมาใช้ซ้ำได้ เพื่อให้โมเดลสามารถจัดการข้อความใดๆ ที่มีคำศัพท์คงที่ได้ นี่คือสาเหตุที่แบบจำลองที่ไม่เคยเห็น 'ความทุกข์' มาก่อนยังสามารถเข้าใจได้โดยการอ่าน 'un', '##happy' และ '##ness' Word Piece Tokenization เป็นส่วนหนึ่งของสแต็กภาษา-AI ที่ใช้ในการอ่าน สร้าง จำแนก และแปลงข้อความและคำพูดตามขนาด หากต้องการสร้างความเข้าใจอย่างลึกซึ้ง ให้ถือว่า Word Piece Tokenization เป็นรูปแบบการดำเนินงาน ไม่ใช่คุณลักษณะเดียว: กำหนดผลลัพธ์ที่ต้องการ ชี้แจงสมมติฐาน และแยกสิ่งที่ระบบสามารถทำได้อย่างน่าเชื่อถือจากสิ่งที่ยังต้องใช้วิจารณญาณจากผู้เชี่ยวชาญ

ในทางปฏิบัติ ทีมที่แข็งแกร่งโดยใช้พรอมต์การออกแบบ Tokenization ของ Word Piece การรับข้อมูล และการตรวจสอบลูปเป็นระบบการสื่อสารแบบรวมระบบเดียว โดยจะบันทึกเกณฑ์ความสำเร็จที่ชัดเจน ทดสอบกับข้อมูลและขั้นตอนการทำงานที่สมจริง และทำซ้ำตามรูปแบบความล้มเหลวที่สังเกตได้ แทนที่จะชนะการวัดประสิทธิภาพเพียงครั้งเดียว นี่คือจุดที่ความเข้าใจทางทฤษฎีกลายเป็นความสามารถที่คงทนของผลิตภัณฑ์ นโยบาย และการดำเนินงาน

ขั้นตอนการทำงานของภาษาสามารถดำเนินไปได้เร็วขึ้นโดยไม่กระทบต่อความสม่ำเสมอ ในขณะเดียวกัน ข้อเท็จจริงที่หลอนประสาทสามารถเข้าสู่รายงาน กระแสสนับสนุน หรือผลการวิจัยได้อย่างเงียบๆ แนวทางที่ยืดหยุ่นที่สุดคือการรวมความเร็วของการทดลองเข้ากับวินัยในการกำกับดูแล: ดำเนินการนำร่อง จับหลักฐาน เผยแพร่บันทึกการตัดสินใจ และอัปเดตการป้องกันอย่างต่อเนื่องเมื่อพฤติกรรมของโมเดล ความคาดหวังของผู้ใช้ และข้อกำหนดด้านกฎระเบียบมีการเปลี่ยนแปลง

ผลกระทบเชิงกลยุทธ์

ขั้นตอนการทำงานของภาษาสามารถดำเนินไปได้เร็วขึ้นโดยไม่กระทบต่อความสม่ำเสมอ

ขั้นตอนการทำงานของภาษาสามารถดำเนินไปได้เร็วขึ้นโดยไม่กระทบต่อความสม่ำเสมอ ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ

ขยายการเข้าถึงภาษาและรูปแบบการสื่อสาร

ขยายการเข้าถึงภาษาและรูปแบบการสื่อสาร ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ

ทีมสามารถใช้เวลามากขึ้นในการตัดสิน ในขณะที่ระบบอัตโนมัติจัดการกับการทำซ้ำ

ทีมสามารถใช้เวลามากขึ้นในการตัดสิน ในขณะที่ระบบอัตโนมัติจัดการกับการทำซ้ำ ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ

อนาคตของการสร้างโทเค็น Word Piece

โมเดลภาษาขนาดใหญ่ที่ใหม่กว่านิยมใช้โมเดลยูนิแกรมระดับไบต์ (ตระกูล GPT) หรือ Sentence Piece มากขึ้น ซึ่งหลีกเลี่ยงการประมวลผลล่วงหน้าเฉพาะภาษาและจัดการอินพุต Unicode ใดๆ Word Piece ยังคงเป็นรากฐานในตัวเข้ารหัสที่ได้รับจาก BERT ซึ่งยังคงใช้งานอย่างกว้างขวางสำหรับการค้นหาและการจัดหมวดหมู่ คาดว่าจะมีการใช้อย่างต่อเนื่องใน NLP ที่ใช้งานจริง ควบคู่ไปกับการวิจัยเกี่ยวกับไบต์และโมเดลอักขระที่ไม่มีโทเค็น ซึ่งอาจลดการพึ่งพาคำศัพท์ย่อยที่ตายตัวโดยสิ้นเชิงในที่สุด

การใช้งานจริงในโลกแห่งความเป็นจริง

BERT โทเค็นคำค้นหาใน Google การค้นหา โดยแบ่งคำที่ไม่คุ้นเคยออกเป็นคำย่อย เพื่อให้โมเดลยังคงสามารถจับคู่หน้าที่เกี่ยวข้องได้

BertTokenizer ของ Hugging Face ใช้ Word Piece เพื่อแปลงข้อความดิบเป็นรหัสโทเค็นที่ป้อนให้กับ BERT สำหรับการวิเคราะห์ความรู้สึกและการจดจำเอนทิตีที่มีชื่อ

BERT หลายภาษาใช้คำศัพท์ Word Piece ที่ใช้ร่วมกันในกว่า 100 ภาษา ทำให้สามารถนำส่วนต่างๆ มาใช้ซ้ำในสคริปต์ที่เกี่ยวข้องได้

DitilBERT และ BERT ทางคลินิก/ชีวการแพทย์สืบทอดต่อจาก Word Piece โดยจัดการกับศัพท์ทางการแพทย์ที่หายาก เช่น 'โรคปอดบวม' โดยการแยกคำเหล่านี้ออกเป็นส่วนๆ ที่รู้จัก

รูปแบบการดำเนินงาน

การสร้างโทเค็น Word Piece ในทางปฏิบัติ

BERT สร้างโทเค็นคำค้นหาใน Google การค้นหา โดยแยกคำที่ไม่คุ้นเคยออกเป็นคำย่อย เพื่อให้โมเดลยังคงสามารถจับคู่หน้าที่เกี่ยวข้องได้ ทีมมักจะได้รับผลลัพธ์ที่ดีกว่าเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพการทำงานที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป

การสร้างโทเค็น Word Piece ในทางปฏิบัติ

BertTokenizer ของ Hugging Face ใช้ Word Piece เพื่อแปลงข้อความดิบเป็นรหัสโทเค็นที่ป้อนให้กับ BERT สำหรับการวิเคราะห์ความรู้สึก และทีมการรับรู้เอนทิตีที่มีชื่อมักจะได้รับผลลัพธ์ที่ดีกว่าเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพการทำงานที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป

การสร้างโทเค็น Word Piece ในทางปฏิบัติ

BERT หลายภาษาใช้คำศัพท์ Word Piece ที่ใช้ร่วมกันในกว่า 100 ภาษา ช่วยให้สามารถนำส่วนต่างๆ มาใช้ซ้ำกับสคริปต์ที่เกี่ยวข้องได้ ทีมมักจะได้รับผลลัพธ์ที่ดีขึ้นเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพการทำงานที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป

การสร้างโทเค็น Word Piece ในทางปฏิบัติ

ตัวแปร BERT ของ DistilBERT และทางคลินิก/ชีวการแพทย์สืบทอด Word Piece โดยจัดการกับคำศัพท์ทางการแพทย์ที่หายาก เช่น 'โรคปอดบวม' โดยการแยกคำเหล่านี้ออกเป็นส่วนๆ ที่ทราบ ทีมมักจะได้รับผลลัพธ์ที่ดีกว่าเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับของมนุษย์สำหรับกรณี Edge และติดตามทั้งการเพิ่มผลผลิตและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป

ความเสี่ยงและรั้ว

ข้อเท็จจริงที่หลอนประสาทสามารถเข้าสู่รายงาน กระแสสนับสนุน หรือผลการวิจัยได้อย่างเงียบๆ

ความละเอียดอ่อนของการแจ้งเตือนสามารถสร้างผลลัพธ์ที่ไม่สอดคล้องกันในคำขอที่คล้ายกัน

ข้อมูลข้อความที่ละเอียดอ่อนอาจถูกเปิดเผยหากการควบคุมการเข้าถึงอ่อนแอ

แผนงานการดำเนินงาน

กำหนดรูปแบบเอาต์พุต โทนเสียง และมาตรฐานคุณภาพก่อนเปิดตัว

กำหนดรูปแบบเอาต์พุต โทนเสียง และมาตรฐานคุณภาพก่อนเปิดตัว ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น

การตอบสนองภาคพื้นดินกับแหล่งข้อมูลที่เชื่อถือได้เมื่อใดก็ตามที่ความแม่นยำมีความสำคัญ

การตอบสนองภาคพื้นดินกับแหล่งข้อมูลที่เชื่อถือได้เมื่อใดก็ตามที่ความแม่นยำมีความสำคัญ ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น

รักษาจุดตรวจสอบการตรวจสอบโดยมนุษย์สำหรับผลลัพธ์ที่มีเดิมพันสูง

รักษาจุดตรวจสอบการตรวจสอบโดยมนุษย์สำหรับผลลัพธ์ที่มีเดิมพันสูง ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น

ติดตามรูปแบบความล้มเหลวและฝึกอบรมพร้อมท์หรือเวิร์กโฟลว์เป็นประจำ

ติดตามรูปแบบความล้มเหลวและฝึกอบรมพร้อมท์หรือเวิร์กโฟลว์เป็นประจำ ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น

สำรวจต่อไป

ChatGPT และ LLM

ดูว่าโมเดลภาษาสมัยใหม่สร้างและเหตุผลอย่างไร

อ่านคู่มือ

พื้นฐาน NLP

เรียนรู้พื้นฐานการประมวลผลภาษาที่อยู่เบื้องหลังเครื่องมือเหล่านี้

อ่านคู่มือ