การตัดแต่งกิ่งแบบจำลอง

การตัดแต่งโมเดลจะลดขนาดโครงข่ายประสาทเทียมโดยการเอาน้ำหนักหรือโครงสร้างทั้งหมดที่มีส่วนช่วยเพียงเล็กน้อยต่อเอาท์พุต โดยจะลดขนาด หน่วยความจำ และต้นทุนการประมวลผล ในขณะเดียวกันก็รักษาความแม่นยำไว้เกือบครบถ้วน

การตัดแต่งกิ่งใช้ประโยชน์จากการกำหนดพารามิเตอร์มากเกินไปโดยการลดน้ำหนักหรือหน่วยที่มีส่วนร่วมต่ำเพื่อลดขนาดโมเดลในขณะที่ยังคงความแม่นยำส่วนใหญ่ไว้

การตัดแต่งกิ่งแบบมีโครงสร้างจะลบส่วนประกอบทั้งหมด ทำให้ได้โมเดลที่มีความหนาแน่นน้อยกว่าซึ่งทำงานได้เร็วขึ้นบนฮาร์ดแวร์มาตรฐาน ในขณะที่การตัดแต่งกิ่งแบบไม่มีโครงสร้างจะทำให้น้ำหนักแต่ละตัวเป็นศูนย์ ทำให้เกิดความกระจัดกระจาย

ศูนย์ที่กระจัดกระจายไม่ได้แปลเป็นการคำนวณน้อยลงโดยอัตโนมัติ ฮาร์ดแวร์ที่มีความหนาแน่นสูงยังคงประมวลผลพวกมันเว้นแต่ว่าจะใช้เคอร์เนลหรือตัวเร่งความเร็วแบบกระจัดกระจายเฉพาะ

การตัดซ้ำจะสลับระหว่างการลบพารามิเตอร์ที่มีความสำคัญต่ำและการปรับแต่งอย่างละเอียดเพื่อกู้คืนความแม่นยำ โดยค่อยๆ ไปถึงเป้าหมายขนาดหรือความเร็ว

สมมติฐานตั้งข้อสังเกตว่าเครือข่ายย่อยแบบกระจัดกระจายที่ได้รับการคัดเลือกอย่างดี ('ตั๋วที่ชนะ') ซึ่งได้รับการฝึกฝนตั้งแต่การเริ่มต้นดั้งเดิม สามารถเข้าถึงความแม่นยำของเครือข่ายที่มีความหนาแน่นเต็มรูปแบบ