การออกกลางคันและการทำให้เป็นมาตรฐานแบบสุ่ม

การออกกลางคันเป็นเคล็ดลับการทำให้เป็นมาตรฐานซึ่งจะสุ่มปิดเศษส่วนของเซลล์ประสาทในระหว่างแต่ละขั้นตอนการฝึกอบรม บังคับให้เครือข่ายสร้างการเป็นตัวแทนที่ซ้ำซ้อนและมีประสิทธิภาพ มันกลายเป็นหนึ่งในเทคนิคที่มีอิทธิพลมากที่สุดในการต่อสู้กับการเรียนรู้เชิงลึกมากเกินไป

การออกกลางคันจะสุ่มศูนย์แต่ละเซลล์ประสาทด้วยความน่าจะเป็น p ในระหว่างการฝึก ดังนั้นจึงใช้เครือข่ายย่อยแบบบางที่แตกต่างกันในแต่ละขั้นตอน

ด้วยการสุ่มลบยูนิตออก การออกกลางคันจะหยุดเซลล์ประสาทจากการสร้างพันธมิตรที่เปราะบาง ซึ่งจะทำงานเฉพาะกับข้อมูลการฝึกอบรม และปรับปรุงความทนทาน

เมื่ออนุมาน เครือข่ายทั้งหมดจะทำงานโดยปิดใช้งานการออกกลางคัน และการเปิดใช้งานจะถูกปรับขนาด ดังนั้นเอาต์พุตที่คาดหวังจึงตรงกับการกระจายการฝึก

โดยที่ p = 0.5 เซลล์ประสาทแต่ละเซลล์มีโอกาส 50 เปอร์เซ็นต์ที่จะเป็นศูนย์ ดังนั้นโดยเฉลี่ยแล้วประมาณครึ่งหนึ่งจะลดลงต่อการส่งต่อแต่ละครั้ง

การสุ่มตัวอย่างเครือข่ายย่อยที่แตกต่างกันในแต่ละขั้นตอนจะประมาณค่าเฉลี่ยของเครือข่ายน้ำหนักร่วมแบบเอกซ์โพเนนเชียล ซึ่งเป็นรูปแบบหนึ่งของการรวมกลุ่มราคาถูก