การสุ่มตัวอย่างนิวเคลียสและท็อปเค
การสุ่มตัวอย่างนิวเคลียส (top-p) และ top-k เป็นวิธีการถอดรหัสที่เพิ่มการสุ่มแบบควบคุมให้กับการสร้างข้อความโดยการจำกัดโทเค็นที่สามารถเลือกได้
ภาพรวม
They matter because they make AI writing feel natural and varied instead of repetitive or robotic.
เจาะลึก
โมเดลภาษาจะแสดงการแจกแจงความน่าจะเป็นของคำศัพท์ทั้งหมดในแต่ละขั้นตอน การสุ่มตัวอย่างโดยตรงจากมันสามารถเลือกโทเค็นที่แปลกประหลาดและน่าจะเป็นไปได้ต่ำ การใช้โทเค็นระดับบนสุด (โลภ) มักจะสร้างการวนซ้ำที่น่าเบื่อและซ้ำซาก การสุ่มตัวอย่าง Top-k แก้ไขปัญหานี้โดยเก็บเฉพาะโทเค็นความน่าจะเป็นสูงสุด k เท่านั้น (เช่น k=40) การปรับสภาพใหม่ และการสุ่มตัวอย่างในโทเค็นเหล่านั้น การสุ่มตัวอย่างนิวเคลียส นำโดย Holtzman และคณะ ในปี 2019 แทนที่จะเก็บชุดโทเค็นที่เล็กที่สุดซึ่งความน่าจะเป็นสะสมเกินเกณฑ์ p (เช่น 0.9) — 'นิวเคลียส' ข้อได้เปรียบที่สำคัญคือชุดนี้จะย่อลงเมื่อโมเดลมีความมั่นใจ และขยายออกเมื่อไม่แน่ใจ โดยมีการปรับเปลี่ยนแบบไดนามิก ทั้งสองอย่างมักถูกรวมเข้ากับพารามิเตอร์อุณหภูมิที่ทำให้การกระจายตัวมีความคมหรือราบเรียบก่อนที่จะสุ่มตัวอย่าง
ข้อมูลเชิงลึกทางเทคนิค
ความแตกต่างที่สำคัญได้รับการแก้ไขแล้วเมื่อเทียบกับจุดตัดแบบปรับตัว Top-k จะเก็บโทเค็น k ไว้เสมอ ซึ่งอาจมีจำนวนน้อยเกินไปหากมีหลายตัวเลือกที่สมเหตุสมผล หรือรวมขยะเมื่อมีเพียงไม่กี่รายการเท่านั้นที่สมเหตุสมผล Top-p เก็บตัวเลขตัวแปรไว้ — โทเค็นเพียงพอที่จะครอบคลุมมวลความน่าจะเป็น p — ดังนั้นจึงตัดส่วนหางยาวที่ไม่น่าเชื่อถือออก ในขณะเดียวกันก็คำนึงถึงการกระจายสูงสุดหรือแบนราบด้วย อุณหภูมิ (โดยทั่วไปคือ 0.7-1.0) จะปรับขนาดบันทึกใหม่ก่อนวิธีใดวิธีหนึ่ง: ค่าที่ต่ำกว่าจะเน้นไปที่ความน่าจะเป็น ค่าที่สูงกว่าจะกระจายออกไป
ผลกระทบเชิงกลยุทธ์
ความเร็วและขนาด
ขั้นตอนการทำงานของภาษาสามารถดำเนินไปได้เร็วขึ้นโดยไม่กระทบต่อความสม่ำเสมอ
เข้าถึงและเข้าถึง
ขยายการเข้าถึงภาษาและรูปแบบการสื่อสาร
การตัดสินใจที่ชัดเจนยิ่งขึ้น
ทีมสามารถใช้เวลามากขึ้นในการตัดสิน ในขณะที่ระบบอัตโนมัติจัดการกับการทำซ้ำ
อนาคตของนิวเคลียสและการสุ่มตัวอย่าง Top-k
ขณะนี้การถอดรหัสตามการสุ่มตัวอย่างเป็นค่าเริ่มต้นสำหรับแชทบอทและเครื่องมือสร้างสรรค์ และการวิจัยยังคงปรับปรุงให้ดีขึ้น: วิธีการต่างๆ เช่น การสุ่มตัวอย่างทั่วไป min-p และการสุ่มตัวอย่าง eta/epsilon มีจุดมุ่งหมายเพื่อตัดส่วนหางอย่างชาญฉลาดมากกว่า p หรือ k คงที่ คาดหวังว่าพารามิเตอร์การถอดรหัสจะรับรู้บริบทและเรียนรู้มากขึ้น โดยจะกระชับคำตอบที่เป็นข้อเท็จจริงโดยอัตโนมัติและคลายการระดมความคิด เมื่อแบบจำลองได้รับการปรับปรุง การควบคุมการสุ่มตัวอย่างอย่างระมัดระวังยังคงเป็นสิ่งจำเป็นสำหรับการรักษาสมดุลความน่าเชื่อถือ ความหลากหลาย และการลดอาการประสาทหลอน
การใช้งานจริงในโลกแห่งความเป็นจริง
Chatbots ใช้ top-p ประมาณ 0.9 เพื่อให้การตอบกลับมีความหลากหลายแต่สอดคล้องกันในการสนทนา
ผู้ช่วยด้านการเขียนเชิงสร้างสรรค์ที่เพิ่มอุณหภูมิและความคิดเพื่อระดมความคิดเกี่ยวกับเรื่องราวที่หลากหลาย
เครื่องมือสร้างโค้ดที่ลดอุณหภูมิและ k เพื่อให้ได้ตัวอย่างข้อมูลที่ถูกต้องและกำหนดได้มากขึ้น
ผู้ใช้ API ปรับพารามิเตอร์ top_p และ top_k เพื่อควบคุมว่าเอาต์พุตของโมเดลจะน่าตื่นเต้นเพียงใด
ความเสี่ยงและรั้ว
ข้อเท็จจริงที่หลอนประสาทสามารถเข้าสู่รายงาน กระแสสนับสนุน หรือผลการวิจัยได้อย่างเงียบๆ
ความละเอียดอ่อนของการแจ้งเตือนสามารถสร้างผลลัพธ์ที่ไม่สอดคล้องกันในคำขอที่คล้ายกัน
ข้อมูลข้อความที่ละเอียดอ่อนอาจถูกเปิดเผยหากการควบคุมการเข้าถึงอ่อนแอ
แผนงานการดำเนินงาน
กำหนดรูปแบบเอาต์พุต โทนเสียง และมาตรฐานคุณภาพก่อนเปิดตัว
การตอบสนองภาคพื้นดินกับแหล่งข้อมูลที่เชื่อถือได้เมื่อใดก็ตามที่ความแม่นยำมีความสำคัญ
รักษาจุดตรวจสอบการตรวจสอบโดยมนุษย์สำหรับผลลัพธ์ที่มีเดิมพันสูง
ติดตามรูปแบบความล้มเหลวและฝึกอบรมพร้อมท์หรือเวิร์กโฟลว์เป็นประจำ
สำรวจต่อไป
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Nucleus and Top-k Sampling quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
คำแนะนำต่อไป
การสุ่มตัวอย่างทั่วไป
คำถามที่พบบ่อย
What is Nucleus and Top-k Sampling?
การสุ่มตัวอย่างนิวเคลียส (top-p) และ top-k เป็นวิธีการถอดรหัสที่เพิ่มการสุ่มแบบควบคุมให้กับการสร้างข้อความโดยการจำกัดโทเค็นที่สามารถเลือกได้ สิ่งเหล่านี้มีความสำคัญเนื่องจากทำให้การเขียนด้วย AI รู้สึกเป็นธรรมชาติและหลากหลาย แทนที่จะเขียนซ้ำๆ หรือเป็นหุ่นยนต์
การสุ่มตัวอย่าง top-k จำกัดตัวเลือกโทเค็นอย่างไร
Top-k ตัดทอนการแจกแจงให้เป็นจำนวน k คงที่ของโทเค็นที่เป็นไปได้มากที่สุด ปรับสภาพใหม่ และสุ่มตัวอย่างจากโทเค็นเหล่านั้น
อะไรเป็นตัวกำหนด 'นิวเคลียส' ในการสุ่มตัวอย่างนิวเคลียส (top-p)
Top-p เก็บกลุ่มโทเค็นชั้นนำที่เล็กที่สุดซึ่งความน่าจะเป็นสะสมถึงเกณฑ์ p จากนั้นจึงสุ่มตัวอย่างจากโทเค็นเหล่านั้น
ข้อได้เปรียบที่สำคัญของ top-p มากกว่า top-k คืออะไร?
ชุดผู้สมัครของ Top-p จะลดลงเมื่อแบบจำลองมีความมั่นใจ และเพิ่มขึ้นเมื่อไม่แน่นอน ต่างจากจำนวนคงที่ของ top-k
พารามิเตอร์อุณหภูมิทำอะไรก่อนสุ่มตัวอย่าง?
อุณหภูมิที่ต่ำกว่าจะเน้นความน่าจะเป็นไปที่โทเค็นบนสุด (มีการกำหนดมากขึ้น) อุณหภูมิที่สูงขึ้นจะทำให้แบนลง (มีความหลากหลายมากขึ้น)
เหตุใดการถอดรหัสโลภอย่างแท้จริง (โทเค็นบนสุดเสมอ) มักไม่เป็นที่พึงปรารถนาสำหรับข้อความปลายเปิด
การถอดรหัสแบบโลภมักติดอยู่ในการทำซ้ำและไม่มีความหลากหลายตามธรรมชาติที่การสุ่มตัวอย่างแบบควบคุมมอบให้