คู่มือทางเทคนิค

การสุ่มตัวอย่างเชิงลบและการประมาณค่าความเปรียบต่างของสัญญาณรบกวน

การสุ่มตัวอย่างเชิงลบและการประมาณค่าความเปรียบต่างของสัญญาณรบกวน (NCE) เป็นเทคนิคที่ช่วยให้แบบจำลองเรียนรู้คำศัพท์จำนวนมากโดยไม่ต้องคำนวณซอฟต์แม็กซ์เต็มรูปแบบที่มีราคาแพง

ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min

บนหน้านี้อ่าน 2 นาที
  1. ภาพรวม
  2. เจาะลึก
  3. การใช้งานจริงในโลกแห่งความเป็นจริง
  4. อนาคตของการสุ่มตัวอย่างเชิงลบและการประมาณค่าความเปรียบต่างของสัญญาณรบกวน
  5. การนำไปปฏิบัติ
  6. สำรวจต่อไป
  7. คำถามที่พบบ่อย

ภาพรวม

Instead of scoring every possible output, they teach the model to tell real (positive) examples from a handful of fake (negative) ones.

เจาะลึก

เมื่อคำศัพท์มีคำนับแสนคำ softmax ปกติจะต้องทำให้ทุกคำเป็นมาตรฐานสำหรับแต่ละขั้นตอนการฝึกอบรม — ช้าเกินไป การประมาณค่าความเปรียบต่างของสัญญาณรบกวนจะกำหนดกรอบปัญหาใหม่เป็นการจำแนกแบบไบนารี โดยให้เป้าหมายและตัวอย่าง 'สัญญาณรบกวน' สองสามตัวอย่างที่ดึงมาจากการกระจายที่รู้จัก เรียนรู้ที่จะแยกแยะตัวอย่างที่แท้จริงจากสัญญาณรบกวน ซึ่งจะกู้คืนความน่าจะเป็นที่ต้องการโดยปริยายโดยไม่ต้องทำให้เป็นมาตรฐานอย่างชัดเจน การสุ่มตัวอย่างเชิงลบซึ่งเป็นที่นิยมโดยโมเดลข้ามแกรมของ word2vec เป็นแบบลูกพี่ลูกน้องอย่างง่าย: สำหรับการจับคู่จริง (คำ บริบท) แต่ละคู่ มันจะสุ่มตัวอย่างค่าเนกาทีฟ k ค่า และฝึกฝนแบบจำลองเพื่อให้คะแนนสูงให้กับคู่จริง และคะแนนต่ำให้กับคู่จริง โดยใช้วัตถุประสงค์ sigmoid ทั้งสองเปลี่ยนปัญหาหลายคลาสที่มีราคาแพงให้กลายเป็นไบนารี่ราคาถูกจำนวนมาก ทำให้การฝึกอบรมการฝังขนาดใหญ่ทำได้จริง การเลือกการกระจายสัญญาณรบกวน (มักจะใช้ยูนิแกรมยกกำลัง 3/4) ส่งผลอย่างมากต่อคุณภาพ

การใช้งานจริงในโลกแห่งความเป็นจริง

word2vec ข้ามแกรมพร้อมการเรียนรู้การสุ่มตัวอย่างเชิงลบที่ฝังจากโทเค็นนับพันล้านโดยไม่ต้อง softmax เต็ม

แบบจำลองภาษาในอดีตใช้ NCE เพื่อฝึกฝนคำศัพท์นับแสนคำอย่างมีประสิทธิภาพ

ระบบการแนะนำและการดึงข้อมูลสุ่มตัวอย่างรายการ 'เชิงลบ' ที่ผู้ใช้ไม่ได้โต้ตอบด้วยเพื่อฝึกโมเดลการฝังสองทาวเวอร์

การฝังกราฟและกราฟความรู้ (เช่น การทำให้ส่วนหัวหรือส่วนท้ายของทริปเปิลเสียหาย) โดยใช้ตัวอย่างเชิงลบเพื่อเรียนรู้ความสัมพันธ์ของเอนทิตี

อนาคตของการสุ่มตัวอย่างเชิงลบและการประมาณค่าความเปรียบต่างของสัญญาณรบกวน

แนวคิดหลัก — เรียนรู้โดยการเปรียบเทียบความแตกต่างเชิงบวกกับเชิงลบตัวอย่าง — ปัจจุบันเป็นรากฐานการเรียนรู้การเป็นตัวแทนแบบมีการดูแลตนเองและแบบเปรียบเทียบสมัยใหม่ผ่านวิสัยทัศน์ ภาษา และข้อเสนอแนะ งานในอนาคตมุ่งเน้นไปที่การขุดแบบฮาร์ดเนกาทีฟ (การเลือกค่าเนกาทีฟที่ให้ข้อมูลแทนการสุ่ม) การหักล้างค่าลบลวง และการปรับสเกลค่าเนกาทีฟในราคาถูกผ่านธนาคารหน่วยความจำขนาดใหญ่หรือการสุ่มตัวอย่างในแบตช์ เมื่อโมเดลเติบโตขึ้น วัตถุประสงค์ในการสุ่มตัวอย่างที่มีประสิทธิภาพยังคงมีความสำคัญไม่ว่าพื้นที่เอาท์พุตหรือชุดผู้สมัครจะมีขนาดใหญ่มาก เช่น การดึงข้อมูลและผู้แนะนำขนาดใหญ่

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • ต้นทุนและงบประมาณ. การตัดสินใจด้านสถาปัตยกรรมขับเคลื่อนประสิทธิภาพและต้นทุนการดำเนินงานเป็นเวลาหลายปี
  • การตัดสินใจที่ชัดเจนยิ่งขึ้น. การศึกษาด้านเทคนิคช่วยให้ทีมเลือกกลุ่มที่เหมาะสม ไม่ใช่แค่กลุ่มใหม่ล่าสุด
  • การควบคุมคุณภาพ. ตัวเลือกทางวิศวกรรมที่ดีกว่าจะช่วยลดเหตุการณ์ด้านความน่าเชื่อถือในการผลิต

ระวัง

  • การเพิ่มประสิทธิภาพเกณฑ์มาตรฐานหนึ่งรายการสามารถซ่อนจุดอ่อนของระบบในวงกว้างได้
  • ต้นทุนโครงสร้างพื้นฐานและการบำรุงรักษามักถูกประเมินต่ำไป
  • ช่องว่างด้านความปลอดภัยและความสามารถในการสังเกตสามารถเพิ่มขึ้นได้เมื่อระบบมีความซับซ้อนมากขึ้น

ขั้นตอนต่อไป

  1. กำหนดเป้าหมายเวลาแฝง คุณภาพ และต้นทุนก่อนนำไปใช้งาน
  2. เกณฑ์มาตรฐานภายใต้สภาวะโหลดและข้อมูลจริง
  3. การตรวจสอบเครื่องมือเพื่อหาข้อผิดพลาด การเบี่ยงเบน และผลกระทบต่อผู้ใช้
  4. เตรียมเส้นทางการย้อนกลับและการตอบสนองต่อเหตุการณ์ก่อนปรับขนาด

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

Take the Negative Sampling and Noise Contrastive Estimation quiz

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

What is Negative Sampling and Noise Contrastive Estimation?

การสุ่มตัวอย่างเชิงลบและการประมาณค่าความเปรียบต่างของสัญญาณรบกวน (NCE) เป็นเทคนิคที่ช่วยให้แบบจำลองเรียนรู้คำศัพท์จำนวนมากโดยไม่ต้องคำนวณซอฟต์แม็กซ์เต็มรูปแบบที่มีราคาแพง แทนที่จะให้คะแนนทุกผลลัพธ์ที่เป็นไปได้ พวกเขาสอนโมเดลให้บอกตัวอย่างจริง (เชิงบวก) จากตัวอย่างปลอม (เชิงลบ) จำนวนหนึ่ง

การสุ่มตัวอย่างเชิงลบและ NCE แก้ปัญหาอะไรเป็นหลัก

ทั้งสองวิธีหลีกเลี่ยงการทำให้คำศัพท์จำนวนมากเป็นมาตรฐานโดยการเปลี่ยนกรอบการฝึกอบรมเป็นการเลือกปฏิบัติแบบไบนารีที่ถูกกว่า

การประมาณค่าความเปรียบต่างของสัญญาณรบกวนปรับกรอบงานการเรียนรู้อย่างไร

NCE ฝึกโมเดลเพื่อแยกแยะตัวอย่างจริงจากตัวอย่างที่ดึงมาจากการกระจายเสียงที่รู้จัก

โมเดลใดที่ทำให้การสุ่มตัวอย่างเชิงลบเป็นที่นิยมสำหรับการเรียนรู้การฝังคำ

การสุ่มตัวอย่างเชิงลบถูกนำมาใช้และแพร่หลายโดยรูปแบบข้ามกรัมของ word2vec

การสุ่มตัวอย่างเชิงลบแตกต่างจาก NCE แบบเต็มอย่างไร

การสุ่มตัวอย่างเชิงลบช่วยลดความซับซ้อนของ NCE โดยการนำการทำให้เป็นมาตรฐานออก แลกเปลี่ยนความถูกต้องของความน่าจะเป็นเพื่อความรวดเร็วและการฝังที่ดี

เหตุใดค่าเนกาทีฟจึงมักสุ่มตัวอย่างจากการแจกแจงแบบยูนิแกรมยกกำลัง 3/4

เลขชี้กำลัง 0.75 ทำให้การกระจายความถี่ราบรื่น ดังนั้นคำทั่วไปจะไม่ครอบงำและคำที่หายากยังคงปรากฏอยู่

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →