คู่มือ AI ภาษา

การสุ่มตัวอย่างทั่วไป

ภาพรวม

การสุ่มตัวอย่างทั่วไปเป็นส่วนหนึ่งของสแต็กภาษา-AI ที่ใช้ในการอ่าน สร้าง จำแนก และแปลงข้อความและคำพูดตามขนาด

เจาะลึก

เมื่อโมเดลภาษาทำนายโทเค็นถัดไป มันจะสร้างการแจกแจงความน่าจะเป็นมากกว่าตัวเลือกหลายพันรายการ วิธีการโลภและ top-k นิยมใช้โทเค็นที่มีความน่าจะเป็นสูง ซึ่งอาจทำให้ข้อความซ้ำซากและไม่สุภาพ การสุ่มตัวอย่างโดยทั่วไปที่ Meister และเพื่อนร่วมงานนำเสนอในปี 2022 มีมุมมองที่แตกต่างออกไปซึ่งมีรากฐานมาจากทฤษฎีสารสนเทศ แบบจำลองจะคำนวณเนื้อหาข้อมูลที่คาดหวัง (เอนโทรปีของการแจกแจง) จากนั้นโทเค็นจะถูกให้คะแนนตามความประหลาดใจของพวกเขาเองที่อยู่ไกลจากความคาดหวังนั้น การสุ่มตัวอย่างโดยทั่วไปจะเก็บชุดของโทเค็นที่มีความประหลาดใจใกล้กับค่าเฉลี่ยมากที่สุดจนกว่าความน่าจะเป็นรวมจะถึงเกณฑ์ จากนั้นจึงสุ่มตัวอย่างจากชุดนั้น ผลลัพธ์ที่ได้คือข้อความที่ไม่สามารถคาดเดาได้อย่างน่าตกใจหรือซ้ำซากจำเจ ซึ่งสะท้อนวิธีการสื่อสารของมนุษย์โดยธรรมชาติโดยมีอัตราข้อมูลที่คงที่

ข้อมูลเชิงลึกทางเทคนิค

สำหรับโทเค็นของผู้สมัครแต่ละคน โมเดลจะคำนวณความประหลาดใจ ความน่าจะเป็นของบันทึกที่เป็นลบ นอกจากนี้ยังคำนวณเอนโทรปีแบบมีเงื่อนไข ซึ่งเป็นค่าเซอร์ไพรส์เฉลี่ยถ่วงน้ำหนักความน่าจะเป็นของโทเค็นทั้งหมด การสุ่มตัวอย่างโดยทั่วไปจะจัดอันดับโทเค็นตามความแตกต่างสัมบูรณ์ระหว่างความประหลาดใจกับเอนโทรปีนั้น จากนั้นจึงเพิ่มโทเค็นที่ใกล้เคียงที่สุดอย่างตะกละตะกลามจนกว่าความน่าจะเป็นสะสมจะถึงพารามิเตอร์เทาว์ (มักจะประมาณ 0.9 ถึง 0.95) การสุ่มตัวอย่างเกิดขึ้นเฉพาะภายในชุดทั่วไปในท้องถิ่นนี้เท่านั้น โดยระงับทั้งค่าผิดปกติที่รุนแรงและการเลือกที่มีโอกาสสูงที่น่าเบื่อที่สุด

การเรียนรู้การสุ่มตัวอย่างทั่วไป

การสุ่มตัวอย่างโดยทั่วไปคือวิธีการสร้างข้อความที่เลือกคำถัดไปจากโทเค็นที่มีเนื้อหาข้อมูลใกล้เคียงกับความประหลาดใจที่คาดหวังของโมเดล แทนที่จะคว้าสิ่งที่น่าจะเป็นไปได้มากที่สุดเสมอไป โดยมีจุดมุ่งหมายเพื่อผลลัพธ์ที่ให้ความรู้สึกเป็นธรรมชาติและเหมือนมนุษย์ โดยการจับคู่ระหว่างภาษาจริงที่สมดุลระหว่างความสามารถในการคาดเดาและความแปลกใหม่ การสุ่มตัวอย่างทั่วไปเป็นส่วนหนึ่งของสแต็กภาษา-AI ที่ใช้ในการอ่าน สร้าง จำแนก และแปลงข้อความและคำพูดตามขนาด เพื่อสร้างความเข้าใจอย่างลึกซึ้ง ให้ถือว่าการสุ่มตัวอย่างทั่วไปเป็นเพียงรูปแบบการปฏิบัติงาน ไม่ใช่คุณลักษณะเดียว: กำหนดผลลัพธ์ที่ต้องการ ชี้แจงสมมติฐาน และแยกสิ่งที่ระบบสามารถทำได้อย่างน่าเชื่อถือจากสิ่งที่ยังต้องใช้วิจารณญาณจากผู้เชี่ยวชาญ

ในทางปฏิบัติ ทีมที่แข็งแกร่งใช้การแจ้งเตือนการออกแบบการสุ่มตัวอย่างทั่วไป การดึงข้อมูล และลูปการตรวจสอบเป็นระบบการสื่อสารแบบรวมระบบเดียว โดยจะบันทึกเกณฑ์ความสำเร็จที่ชัดเจน ทดสอบกับข้อมูลและขั้นตอนการทำงานที่สมจริง และทำซ้ำตามรูปแบบความล้มเหลวที่สังเกตได้ แทนที่จะชนะการวัดประสิทธิภาพเพียงครั้งเดียว นี่คือจุดที่ความเข้าใจทางทฤษฎีกลายเป็นความสามารถที่คงทนของผลิตภัณฑ์ นโยบาย และการดำเนินงาน

ขั้นตอนการทำงานของภาษาสามารถดำเนินไปได้เร็วขึ้นโดยไม่กระทบต่อความสม่ำเสมอ ในขณะเดียวกัน ข้อเท็จจริงที่หลอนประสาทสามารถเข้าสู่รายงาน กระแสสนับสนุน หรือผลการวิจัยได้อย่างเงียบๆ แนวทางที่ยืดหยุ่นที่สุดคือการรวมความเร็วของการทดลองเข้ากับวินัยในการกำกับดูแล: ดำเนินการนำร่อง จับหลักฐาน เผยแพร่บันทึกการตัดสินใจ และอัปเดตการป้องกันอย่างต่อเนื่องเมื่อพฤติกรรมของโมเดล ความคาดหวังของผู้ใช้ และข้อกำหนดด้านกฎระเบียบมีการเปลี่ยนแปลง

ผลกระทบเชิงกลยุทธ์

ขั้นตอนการทำงานของภาษาสามารถดำเนินไปได้เร็วขึ้นโดยไม่กระทบต่อความสม่ำเสมอ

ขั้นตอนการทำงานของภาษาสามารถดำเนินไปได้เร็วขึ้นโดยไม่กระทบต่อความสม่ำเสมอ ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ

ขยายการเข้าถึงภาษาและรูปแบบการสื่อสาร

ขยายการเข้าถึงภาษาและรูปแบบการสื่อสาร ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ

ทีมสามารถใช้เวลามากขึ้นในการตัดสิน ในขณะที่ระบบอัตโนมัติจัดการกับการทำซ้ำ

ทีมสามารถใช้เวลามากขึ้นในการตัดสิน ในขณะที่ระบบอัตโนมัติจัดการกับการทำซ้ำ ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ

อนาคตของการสุ่มตัวอย่างทั่วไป

การสุ่มตัวอย่างทั่วไปกำลังกลายเป็นตัวเลือกมาตรฐานควบคู่ไปกับ top-p และ top-k ในสแต็กการอนุมานโอเพ่นซอร์ส เช่น llama.cpp และ Hugging Face Transformers คาดว่าจะมีการใช้เพิ่มมากขึ้นในการเขียนเชิงสร้างสรรค์ บทสนทนา และการสร้างเรื่องราว ซึ่งการถอดรหัสที่ปลอดภัยเกินไปจะส่งผลเสียต่อคุณภาพ นักวิจัยกำลังผสมผสานกับเกณฑ์การปรับตัวที่เปลี่ยนไปตามบริบทและรวมกับบทลงโทษซ้ำ เมื่อการถอดรหัสทางทฤษฎีข้อมูลเติบโตขึ้น การสุ่มตัวอย่างโดยทั่วไปอาจแจ้งวิธีการอัตโนมัติที่รับรู้การกระจาย ซึ่งจะยกเลิกการตั้งค่าอุณหภูมิที่ปรับด้วยมือ

การใช้งานจริงในโลกแห่งความเป็นจริง

การสร้างนิยายหรือบทกวีที่การถอดรหัสอย่างละโมบทำให้เกิดร้อยแก้วที่น่าเบื่อและซ้ำซาก และนักเขียนต้องการความหลากหลายที่เป็นธรรมชาติมากขึ้น

ขับเคลื่อนการตอบกลับแชทบอทที่หลีกเลี่ยงการใช้ถ้อยคำแบบหุ่นยนต์และเป็นไปตามสูตร ในขณะที่ยังคงสอดคล้องกันและอยู่ในหัวข้อ

พร้อมใช้งานในรูปแบบแฟล็กการถอดรหัส (typical_p) ใน Hugging Face Transformers สำหรับนักพัฒนาในการปรับแต่งเอาต์พุตโมเดลโอเพ่นซอร์ส

ใช้ในรันไทม์ LLM ท้องถิ่น เช่น llama.cpp และ text-generator-webui เป็นทางเลือกแทน top-p สำหรับข้อความที่สมบูรณ์และเสื่อมน้อยลง

รูปแบบการดำเนินงาน

การสุ่มตัวอย่างโดยทั่วไปในทางปฏิบัติ

การสร้างนิยายหรือบทกวีที่การถอดรหัสอย่างละโมบทำให้เกิดร้อยแก้วที่ซ้ำซากและน่าเบื่อ และนักเขียนต้องการความหลากหลายที่เป็นธรรมชาติมากขึ้น ทีมมักจะได้รับผลลัพธ์ที่ดีกว่าเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับของมนุษย์สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพการทำงานที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป

การสุ่มตัวอย่างโดยทั่วไปในทางปฏิบัติ

ขับเคลื่อนการตอบกลับแชทบอตที่หลีกเลี่ยงการใช้ถ้อยคำตามสูตรแบบหุ่นยนต์ในขณะที่ยังคงสอดคล้องกันและอยู่ในหัวข้อ ทีมมักจะได้รับผลลัพธ์ที่ดีกว่าเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งการเพิ่มผลผลิตและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป

การสุ่มตัวอย่างโดยทั่วไปในทางปฏิบัติ

พร้อมใช้งานในรูปแบบธงถอดรหัส (typical_p) ใน Hugging Face Transformers สำหรับนักพัฒนาในการปรับแต่งเอาต์พุตโมเดลโอเพ่นซอร์ส ทีมมักจะได้รับผลลัพธ์ที่ดีกว่าเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพการทำงานที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป

การสุ่มตัวอย่างโดยทั่วไปในทางปฏิบัติ

ใช้ในรันไทม์ LLM ในพื้นที่ เช่น llama.cpp และ text-creation-webui เป็นทางเลือกแทน top-p สำหรับข้อความที่สมบูรณ์และเสื่อมน้อยลง ทีมมักจะได้รับผลลัพธ์ที่ดีกว่าเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพการทำงานที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป

ความเสี่ยงและรั้ว

ข้อเท็จจริงที่หลอนประสาทสามารถเข้าสู่รายงาน กระแสสนับสนุน หรือผลการวิจัยได้อย่างเงียบๆ

ความละเอียดอ่อนของการแจ้งเตือนสามารถสร้างผลลัพธ์ที่ไม่สอดคล้องกันในคำขอที่คล้ายกัน

ข้อมูลข้อความที่ละเอียดอ่อนอาจถูกเปิดเผยหากการควบคุมการเข้าถึงอ่อนแอ

แผนงานการดำเนินงาน

กำหนดรูปแบบเอาต์พุต โทนเสียง และมาตรฐานคุณภาพก่อนเปิดตัว

กำหนดรูปแบบเอาต์พุต โทนเสียง และมาตรฐานคุณภาพก่อนเปิดตัว ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น

การตอบสนองภาคพื้นดินกับแหล่งข้อมูลที่เชื่อถือได้เมื่อใดก็ตามที่ความแม่นยำมีความสำคัญ

การตอบสนองภาคพื้นดินกับแหล่งข้อมูลที่เชื่อถือได้เมื่อใดก็ตามที่ความแม่นยำมีความสำคัญ ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น

รักษาจุดตรวจสอบการตรวจสอบโดยมนุษย์สำหรับผลลัพธ์ที่มีเดิมพันสูง

รักษาจุดตรวจสอบการตรวจสอบโดยมนุษย์สำหรับผลลัพธ์ที่มีเดิมพันสูง ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น

ติดตามรูปแบบความล้มเหลวและฝึกอบรมพร้อมท์หรือเวิร์กโฟลว์เป็นประจำ

ติดตามรูปแบบความล้มเหลวและฝึกอบรมพร้อมท์หรือเวิร์กโฟลว์เป็นประจำ ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น

สำรวจต่อไป

ChatGPT และ LLM

ดูว่าโมเดลภาษาสมัยใหม่สร้างและเหตุผลอย่างไร

อ่านคู่มือ

พื้นฐาน NLP

เรียนรู้พื้นฐานการประมวลผลภาษาที่อยู่เบื้องหลังเครื่องมือเหล่านี้

อ่านคู่มือ