สมมติฐานตั๋วลอตเตอรี

It matters because it suggests we are training far more parameters than we actually need.

เสนอโดย Jonathan Frankle และ Michael Carbin ที่ MIT ในปี 2018 สมมติฐานนี้เกิดขึ้นจากการวิจัยการตัดแต่งกิ่ง โดยปกติคุณสามารถตัดเครือข่ายที่ได้รับการฝึกอบรมให้เหลือ 10-20% ของน้ำหนักได้โดยไม่สูญเสียความแม่นยำ แต่การฝึกอบรมเครือข่ายขนาดเล็กตั้งแต่เริ่มต้นนั้นล้มเหลว Frankle และ Carbin พบเคล็ดลับ: รักษาน้ำหนักเริ่มต้นดั้งเดิมของการเชื่อมต่อที่ยังมีชีวิตอยู่ เครือข่ายย่อยที่กระจัดกระจายนั้น — ตั๋วที่ชนะ — จากนั้นจะฝึกฝนให้มีความแม่นยำสูงสุดโดยแยกออกจากกัน ซึ่งบางครั้งก็เร็วกว่าเครือข่ายเดิมที่มีความหนาแน่นสูง พวกเขาระบุตั๋วผ่าน 'การตัดขนาดซ้ำ': ฝึก ตัดน้ำหนักขนาดที่เล็กที่สุด กรอกลับส่วนที่เหลือเป็นค่าเริ่มต้น แล้วทำซ้ำ ผลลัพธ์ที่ได้บอกเป็นนัยว่าการกำหนดพารามิเตอร์มากเกินไปที่มีความหนาแน่นส่วนใหญ่ช่วยให้การปรับให้เหมาะสมค้นหาโครงสร้างที่กระจัดกระจายที่ดี ไม่ใช่ว่าน้ำหนักทั้งหมดเหล่านั้นจำเป็นแยกกัน