การสุ่มตัวอย่างเชิงลบและการประมาณค่าความเปรียบต่างของสัญญาณรบกวน

Instead of scoring every possible output, they teach the model to tell real (positive) examples from a handful of fake (negative) ones.

เมื่อคำศัพท์มีคำนับแสนคำ softmax ปกติจะต้องทำให้ทุกคำเป็นมาตรฐานสำหรับแต่ละขั้นตอนการฝึกอบรม — ช้าเกินไป การประมาณค่าความเปรียบต่างของสัญญาณรบกวนจะกำหนดกรอบปัญหาใหม่เป็นการจำแนกแบบไบนารี โดยให้เป้าหมายและตัวอย่าง 'สัญญาณรบกวน' สองสามตัวอย่างที่ดึงมาจากการกระจายที่รู้จัก เรียนรู้ที่จะแยกแยะตัวอย่างที่แท้จริงจากสัญญาณรบกวน ซึ่งจะกู้คืนความน่าจะเป็นที่ต้องการโดยปริยายโดยไม่ต้องทำให้เป็นมาตรฐานอย่างชัดเจน การสุ่มตัวอย่างเชิงลบซึ่งเป็นที่นิยมโดยโมเดลข้ามแกรมของ word2vec เป็นแบบลูกพี่ลูกน้องอย่างง่าย: สำหรับการจับคู่จริง (คำ บริบท) แต่ละคู่ มันจะสุ่มตัวอย่างค่าเนกาทีฟ k ค่า และฝึกฝนแบบจำลองเพื่อให้คะแนนสูงให้กับคู่จริง และคะแนนต่ำให้กับคู่จริง โดยใช้วัตถุประสงค์ sigmoid ทั้งสองเปลี่ยนปัญหาหลายคลาสที่มีราคาแพงให้กลายเป็นไบนารี่ราคาถูกจำนวนมาก ทำให้การฝึกอบรมการฝังขนาดใหญ่ทำได้จริง การเลือกการกระจายสัญญาณรบกวน (มักจะใช้ยูนิแกรมยกกำลัง 3/4) ส่งผลอย่างมากต่อคุณภาพ