การสุ่มตัวอย่างทั่วไป
การสุ่มตัวอย่างโดยทั่วไปคือวิธีการสร้างข้อความที่เลือกคำถัดไปจากโทเค็นที่มีเนื้อหาข้อมูลใกล้เคียงกับความประหลาดใจที่คาดหวังของโมเดล แทนที่จะคว้าสิ่งที่น่าจะเป็นไปได้มากที่สุดเสมอไป
ภาพรวม
It aims for output that feels natural and human-like by matching how real language balances predictability and novelty.
เจาะลึก
เมื่อโมเดลภาษาทำนายโทเค็นถัดไป มันจะสร้างการแจกแจงความน่าจะเป็นมากกว่าตัวเลือกหลายพันรายการ วิธีการโลภและ top-k นิยมใช้โทเค็นที่มีความน่าจะเป็นสูง ซึ่งอาจทำให้ข้อความซ้ำซากและไม่สุภาพ การสุ่มตัวอย่างโดยทั่วไปที่ Meister และเพื่อนร่วมงานนำเสนอในปี 2022 มีมุมมองที่แตกต่างออกไปซึ่งมีรากฐานมาจากทฤษฎีสารสนเทศ แบบจำลองจะคำนวณเนื้อหาข้อมูลที่คาดหวัง (เอนโทรปีของการแจกแจง) จากนั้นโทเค็นจะถูกให้คะแนนตามความประหลาดใจของพวกเขาเองที่อยู่ไกลจากความคาดหวังนั้น การสุ่มตัวอย่างโดยทั่วไปจะเก็บชุดของโทเค็นที่มีความประหลาดใจใกล้กับค่าเฉลี่ยมากที่สุดจนกว่าความน่าจะเป็นรวมจะถึงเกณฑ์ จากนั้นจึงสุ่มตัวอย่างจากชุดนั้น ผลลัพธ์ที่ได้คือข้อความที่ไม่สามารถคาดเดาได้อย่างน่าตกใจหรือซ้ำซากจำเจ ซึ่งสะท้อนวิธีการสื่อสารของมนุษย์โดยธรรมชาติโดยมีอัตราข้อมูลที่คงที่
ข้อมูลเชิงลึกทางเทคนิค
สำหรับโทเค็นของผู้สมัครแต่ละคน โมเดลจะคำนวณความประหลาดใจ ความน่าจะเป็นของบันทึกที่เป็นลบ นอกจากนี้ยังคำนวณเอนโทรปีแบบมีเงื่อนไข ซึ่งเป็นค่าเซอร์ไพรส์เฉลี่ยถ่วงน้ำหนักความน่าจะเป็นของโทเค็นทั้งหมด การสุ่มตัวอย่างโดยทั่วไปจะจัดอันดับโทเค็นตามความแตกต่างสัมบูรณ์ระหว่างความประหลาดใจกับเอนโทรปีนั้น จากนั้นจึงเพิ่มโทเค็นที่ใกล้เคียงที่สุดอย่างตะกละตะกลามจนกว่าความน่าจะเป็นสะสมจะถึงพารามิเตอร์เทาว์ (มักจะประมาณ 0.9 ถึง 0.95) การสุ่มตัวอย่างเกิดขึ้นเฉพาะภายในชุดทั่วไปในท้องถิ่นนี้เท่านั้น โดยระงับทั้งค่าผิดปกติที่รุนแรงและการเลือกที่มีโอกาสสูงที่น่าเบื่อที่สุด
ผลกระทบเชิงกลยุทธ์
ความเร็วและขนาด
ขั้นตอนการทำงานของภาษาสามารถดำเนินไปได้เร็วขึ้นโดยไม่กระทบต่อความสม่ำเสมอ
เข้าถึงและเข้าถึง
ขยายการเข้าถึงภาษาและรูปแบบการสื่อสาร
การตัดสินใจที่ชัดเจนยิ่งขึ้น
ทีมสามารถใช้เวลามากขึ้นในการตัดสิน ในขณะที่ระบบอัตโนมัติจัดการกับการทำซ้ำ
อนาคตของการสุ่มตัวอย่างทั่วไป
การสุ่มตัวอย่างทั่วไปกำลังกลายเป็นตัวเลือกมาตรฐานควบคู่ไปกับ top-p และ top-k ในสแต็กการอนุมานโอเพ่นซอร์ส เช่น llama.cpp และ Hugging Face Transformers คาดว่าจะมีการใช้งานเพิ่มมากขึ้นในการเขียนเชิงสร้างสรรค์ บทสนทนา และการสร้างเรื่องราว ซึ่งการถอดรหัสที่ปลอดภัยเกินไปจะส่งผลเสียต่อคุณภาพ นักวิจัยกำลังผสมผสานกับเกณฑ์การปรับตัวที่เปลี่ยนไปตามบริบทและรวมกับบทลงโทษซ้ำ เมื่อการถอดรหัสทางทฤษฎีข้อมูลเติบโตขึ้น การสุ่มตัวอย่างโดยทั่วไปอาจแจ้งวิธีการอัตโนมัติที่รับรู้การกระจาย ซึ่งจะยกเลิกการตั้งค่าอุณหภูมิที่ปรับด้วยมือ
การใช้งานจริงในโลกแห่งความเป็นจริง
การสร้างนิยายหรือบทกวีที่การถอดรหัสอย่างละโมบทำให้เกิดร้อยแก้วที่น่าเบื่อและซ้ำซาก และนักเขียนต้องการความหลากหลายที่เป็นธรรมชาติมากขึ้น
ขับเคลื่อนการตอบกลับแชทบอทที่หลีกเลี่ยงการใช้ถ้อยคำแบบหุ่นยนต์และเป็นไปตามสูตร ในขณะที่ยังคงสอดคล้องกันและอยู่ในหัวข้อ
พร้อมใช้งานในรูปแบบแฟล็กการถอดรหัส (typical_p) ใน Hugging Face Transformers สำหรับนักพัฒนาในการปรับแต่งเอาต์พุตโมเดลโอเพ่นซอร์ส
ใช้ในรันไทม์ LLM ท้องถิ่น เช่น llama.cpp และ text-generator-webui เป็นทางเลือกแทน top-p สำหรับข้อความที่สมบูรณ์และเสื่อมน้อยลง
ความเสี่ยงและรั้ว
ข้อเท็จจริงที่หลอนประสาทสามารถเข้าสู่รายงาน กระแสสนับสนุน หรือผลการวิจัยได้อย่างเงียบๆ
ความละเอียดอ่อนของการแจ้งเตือนสามารถสร้างผลลัพธ์ที่ไม่สอดคล้องกันในคำขอที่คล้ายกัน
ข้อมูลข้อความที่ละเอียดอ่อนอาจถูกเปิดเผยหากการควบคุมการเข้าถึงอ่อนแอ
แผนงานการดำเนินงาน
กำหนดรูปแบบเอาต์พุต โทนเสียง และมาตรฐานคุณภาพก่อนเปิดตัว
การตอบสนองภาคพื้นดินกับแหล่งข้อมูลที่เชื่อถือได้เมื่อใดก็ตามที่ความแม่นยำมีความสำคัญ
รักษาจุดตรวจสอบการตรวจสอบโดยมนุษย์สำหรับผลลัพธ์ที่มีเดิมพันสูง
ติดตามรูปแบบความล้มเหลวและฝึกอบรมพร้อมท์หรือเวิร์กโฟลว์เป็นประจำ
สำรวจต่อไป
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Typical Sampling quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
คำแนะนำต่อไป
การตรวจสอบการสุ่มตัวอย่างแบบเก็งกำไร
คำถามที่พบบ่อย
What is Typical Sampling?
การสุ่มตัวอย่างโดยทั่วไปคือวิธีการสร้างข้อความที่เลือกคำถัดไปจากโทเค็นที่มีเนื้อหาข้อมูลใกล้เคียงกับความประหลาดใจที่คาดหวังของโมเดล แทนที่จะคว้าสิ่งที่น่าจะเป็นไปได้มากที่สุดเสมอไป โดยมีจุดมุ่งหมายเพื่อผลลัพธ์ที่ให้ความรู้สึกเป็นธรรมชาติและเหมือนมนุษย์ โดยการจับคู่ระหว่างภาษาจริงที่สมดุลระหว่างความสามารถในการคาดเดาและความแปลกใหม่
การสุ่มตัวอย่างโดยทั่วไปมีปริมาณหลักเท่าใดในการเปรียบเทียบโทเค็นผู้สมัครแต่ละรายการกับ
การสุ่มตัวอย่างโดยทั่วไปจะวัดว่าโทเค็นแต่ละโทเค็นมีความประหลาดใจมากเพียงใดจากเอนโทรปีของการแจกแจง ซึ่งเป็นเนื้อหาข้อมูลที่คาดหวัง โดยเก็บโทเค็นที่มีความประหลาดใจใกล้กับค่าเฉลี่ยมากที่สุด
การสุ่มตัวอย่างโดยทั่วไปจะปฏิบัติต่อโทเค็นที่น่าจะเป็นไปได้มากที่สุดเพียงตัวเดียวอย่างไร
โทเค็นที่มีความน่าจะเป็นสูงมากมีความประหลาดใจต่ำมาก ซึ่งอาจอยู่ไกลจากค่าเฉลี่ย ดังนั้นการสุ่มตัวอย่างทั่วไปจึงอาจไม่อยู่ในกลุ่มผู้สมัครที่ตั้งค่าไว้เพื่อสนับสนุนโทเค็น 'ทั่วไป' มากกว่า
การสุ่มตัวอย่างโดยทั่วไปได้รับแรงบันดาลใจจากแนวคิดใดเกี่ยวกับภาษามนุษย์
วิธีการนี้ใช้สมมติฐานที่ว่าภาษาธรรมชาตินั้นใกล้เคียงกับอัตราข้อมูลที่สม่ำเสมอ ดังนั้นจึงสนับสนุนโทเค็นที่มีการเซอร์ไพรส์ที่ใกล้เคียงกับค่าเฉลี่ย
พารามิเตอร์ tau ในการควบคุมการสุ่มตัวอย่างทั่วไปมีอะไรบ้าง
เอกภาพกำหนดเป้าหมายความน่าจะเป็นสะสม โทเค็นที่ใกล้กับเอนโทรปีมากที่สุดจะถูกเพิ่มจนกว่าความน่าจะเป็นรวมจะถึงเอกภาพ โดยกำหนดชุดที่จะสุ่มตัวอย่าง
ซอฟต์แวร์ประเภทใดที่นักพัฒนามักเปิดเผยตัวอย่างโดยทั่วไป
การสุ่มตัวอย่างทั่วไปถูกนำมาใช้เป็นตัวเลือกการถอดรหัส (เช่น generic_p) ในไลบรารี เช่น Hugging Face Transformers และรันไทม์ในเครื่อง เช่น llama.cpp