การสุ่มตัวอย่างตามกำหนดการและความลำเอียงของการสัมผัส
Exposure Bias คือช่องว่างที่ปรากฏขึ้นเมื่อแบบจำลองที่ได้รับการฝึกเฉพาะคำนำหน้าที่สมบูรณ์แบบเท่านั้น จะต้องพิจารณาเงื่อนไขในผลลัพธ์ที่ไม่สมบูรณ์ของตัวเอง
ภาพรวม
การสุ่มตัวอย่างตามกําหนดเวลาเป็นหลักสูตรที่ค่อย ๆ ปิดช่องว่างนั้น
เจาะลึก
โมเดลที่ได้รับการฝึกโดยครูบังคับจะมองว่าโทเค็นความจริงภาคพื้นดินเป็นบริบทเท่านั้น แต่ในช่วงเวลาแห่งการสร้าง โมเดลจะป้อนกลับการทำนายของตนเอง เมื่อข้อผิดพลาดตั้งแต่เนิ่นๆ ทำให้โมเดลอยู่ในสถานะที่ไม่เคยพบระหว่างการฝึก ข้อผิดพลาดอาจกลายเป็นก้อนหิมะ ซึ่งเป็นโหมดความล้มเหลวที่เรียกว่า Exposure Bias การสุ่มตัวอย่างตามกำหนดเวลาซึ่งแนะนำโดย Bengio และเพื่อนร่วมงานในปี 2558 จัดการเรื่องนี้ด้วยการพลิกเหรียญในแต่ละขั้นตอนการถอดรหัสระหว่างการฝึกอบรม: ด้วยความน่าจะเป็นบางประการที่มันจะป้อนโทเค็นจริง (การบังคับของครู) มิฉะนั้นจะป้อนการทำนายตัวอย่างของโมเดลเอง ความน่าจะเป็นของการใช้ความจริงภาคพื้นดินเริ่มต้นที่ใกล้จุดหนึ่งและลดลงเหนือการฝึกผ่านกำหนดเวลา (เชิงเส้น เอ็กซ์โปเนนเชียล หรือซิกมอยด์ผกผัน) ดังนั้นแบบจำลองจึงได้รับการเปิดเผยผลลัพธ์ของตัวเองอย่างต่อเนื่อง และเรียนรู้ที่จะฟื้นตัวจากข้อผิดพลาด
ข้อมูลเชิงลึกทางเทคนิค
ในขั้นตอนที่ t โมเดลสุ่มตัวอย่างตัวแปร Bernoulli ด้วยความน่าจะเป็น epsilon_i ในการเลือกโทเค็นทองคำ epsilon_i สลายตัวเมื่อการฝึกอบรมดำเนินไป ความละเอียดอ่อนคือการป้อนโทเค็นตัวอย่างทำให้วัตถุประสงค์มีอคติ และการสุ่มตัวอย่างแบบแยกไม่สามารถแยกความแตกต่างได้ ดังนั้นการไล่ระดับสีจึงไม่ไหลผ่านโทเค็นที่ป้อนกลับอย่างหมดจด ตัวแปรใช้ Gumbel-softmax แบบตรงหรือการผ่อนคลายเชิงอนุพันธ์เพื่อลดสิ่งนี้ และวิธีการระดับลำดับจะปรับเมตริก เช่น BLEU โดยตรง
ผลกระทบเชิงกลยุทธ์
ต้นทุนและงบประมาณ
การตัดสินใจด้านสถาปัตยกรรมขับเคลื่อนประสิทธิภาพและต้นทุนการดำเนินงานเป็นเวลาหลายปี
การตัดสินใจที่ชัดเจนยิ่งขึ้น
การศึกษาด้านเทคนิคช่วยให้ทีมเลือกกลุ่มที่เหมาะสม ไม่ใช่แค่กลุ่มใหม่ล่าสุด
การควบคุมคุณภาพ
ตัวเลือกทางวิศวกรรมที่ดีกว่าจะช่วยลดเหตุการณ์ด้านความน่าเชื่อถือในการผลิต
อนาคตของการสุ่มตัวอย่างตามกำหนดการและความลำเอียงของการสัมผัส
สำหรับโมเดลภาษา Transformer ขนาดใหญ่ มีการถกเถียงถึงผลกระทบในทางปฏิบัติของ Exposure Bias เนื่องจากข้อมูลขนาดใหญ่และขนาดที่จำกัด และวิธีการต่างๆ เช่น RLHF ปรับพฤติกรรมการสร้างใหม่โดยตรง อย่างไรก็ตาม การสุ่มตัวอย่างตามกำหนดเวลาและการสืบทอดยังคงเกี่ยวข้องกับโมเดลขนาดเล็ก การสร้างแบบมีโครงสร้าง และงานที่ต้องการความแม่นยำที่เข้มงวด งานในอนาคตผสมผสานการเปิดรับหลักสูตร วัตถุประสงค์ของลำดับรูปแบบการเสริมกำลัง และการฝึกอบรมที่มีความเสี่ยงขั้นต่ำ เพื่อปรับวิธีการฝึกอบรมแบบจำลองให้สอดคล้องกับวิธีถอดรหัสจริง
การใช้งานจริงในโลกแห่งความเป็นจริง
ฝึกฝนโมเดลคำบรรยายภาพด้วยการสุ่มตัวอย่างตามกำหนดเวลา เพื่อให้เรียนรู้ที่จะดำเนินต่อไปอย่างสง่างามหลังจากคำทำนายที่ไม่สมบูรณ์
การลดความน่าจะเป็นในการบังคับครูด้วยกำหนดการผกผัน-ซิกมอยด์ในระบบการแปลด้วยเครื่องประสาท
การวินิจฉัยแชทบอทที่ล่องลอยไปในลูปที่ไม่ต่อเนื่องกันซึ่งเป็นอาการอคติจากการสัมผัสจากการบังคับของครูล้วนๆ
การเปรียบเทียบคะแนน BLEU ของผู้สรุปที่ได้รับการฝึกอบรมโดยมีการบังคับครูเต็มรูปแบบ กับคะแนนของผู้ที่ได้รับการฝึกอบรมที่มีการสุ่มตัวอย่างตามกำหนดการ
ความเสี่ยงและรั้ว
การเพิ่มประสิทธิภาพเกณฑ์มาตรฐานหนึ่งรายการสามารถซ่อนจุดอ่อนของระบบในวงกว้างได้
ต้นทุนโครงสร้างพื้นฐานและการบำรุงรักษามักถูกประเมินต่ำไป
ช่องว่างด้านความปลอดภัยและความสามารถในการสังเกตสามารถเพิ่มขึ้นได้เมื่อระบบมีความซับซ้อนมากขึ้น
แผนงานการดำเนินงาน
กำหนดเป้าหมายเวลาแฝง คุณภาพ และต้นทุนก่อนนำไปใช้งาน
เกณฑ์มาตรฐานภายใต้สภาวะโหลดและข้อมูลจริง
การตรวจสอบเครื่องมือเพื่อหาข้อผิดพลาด การเบี่ยงเบน และผลกระทบต่อผู้ใช้
เตรียมเส้นทางการย้อนกลับและการตอบสนองต่อเหตุการณ์ก่อนปรับขนาด
สำรวจต่อไป
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Scheduled Sampling and Exposure Bias quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
คำแนะนำต่อไป
การสุ่มตัวอย่างเชิงลบและการประมาณค่าความเปรียบต่างของสัญญาณรบกวน
คำถามที่พบบ่อย
การสุ่มตัวอย่างตามกําหนดเวลาและอคติจากการสัมผัสคืออะไร?
Exposure Bias คือช่องว่างที่ปรากฏขึ้นเมื่อแบบจำลองที่ได้รับการฝึกเฉพาะคำนำหน้าที่สมบูรณ์แบบเท่านั้น จะต้องพิจารณาเงื่อนไขในผลลัพธ์ที่ไม่สมบูรณ์ของตัวเอง การสุ่มตัวอย่างตามกำหนดเวลาเป็นหลักสูตรที่ค่อยๆ ปิดช่องว่างนั้น
การสุ่มตัวอย่างตามกำหนดการทำอะไรในระหว่างการฝึกอบรม?
การสุ่มตัวอย่างตามกำหนดการสุ่มผสมโทเค็นจริงจากพื้นดินและโทเค็นที่สร้างโดยโมเดลเป็นอินพุตตัวถอดรหัส ซึ่งควบคุมโดยความน่าจะเป็นที่ค่อยๆ ลดลง
ความน่าจะเป็นของการใช้โทเค็นความจริงภาคพื้นดินเปลี่ยนแปลงไปจากการฝึกอบรมในการสุ่มตัวอย่างตามกำหนดการอย่างไร
กำหนดการเริ่มต้นใกล้กับการบังคับและการสลายของครูเต็มรูปแบบ ดังนั้นโมเดลจึงเปิดรับการคาดการณ์ของตัวเองมากขึ้นเมื่อมีการปรับปรุง
ใครเป็นผู้แนะนำการสุ่มตัวอย่างตามกำหนดเวลา และประมาณเมื่อใด
การสุ่มตัวอย่างตามกำหนดเวลาเสนอโดย Samy Bengio และเพื่อนร่วมงานในปี 2558 สำหรับการทำนายลำดับด้วยเครือข่ายที่เกิดซ้ำ
รูปแบบตารางใดที่มักอ้างถึงเพื่อลดความน่าจะเป็นของการบังคับครู
งานต้นฉบับเสนอตารางการสลายตัวเชิงเส้น เลขชี้กำลัง และซิกมอยด์ผกผัน เพื่อลดความน่าจะเป็นในการสุ่มตัวอย่างตามความจริงภาคพื้นดิน