การแลกเปลี่ยนอคติ-ความแปรปรวน

ข้อดีข้อเสียของความแปรปรวนและความแปรปรวนอธิบายว่าทำไมแบบจำลองถึงล้มเหลวเนื่องจากง่ายเกินไปหรือซับซ้อนเกินไป ความตึงเครียดหลักที่อยู่เบื้องหลังการปรับด้านล่างกับการปรับมากเกินไป และการทำให้มันถูกต้องจะเป็นตัวกำหนดว่าแบบจำลองของคุณจะสรุปข้อมูลใหม่หรือไม่

การเรียนรู้เชิงลึกทำให้เรื่องราวคลาสสิกซับซ้อนขึ้น นักวิจัยสังเกตเห็น 'double descent' ซึ่งข้อผิดพลาดในการทดสอบเกิดขึ้นก่อน จากนั้นจะลดลงอีกครั้งเมื่อเครือข่ายที่มีพารามิเตอร์เกินขนาดจำนวนมากเติบโตเกินเกณฑ์การแก้ไข ซึ่งดูเหมือนจะท้าทายเส้นโค้งรูปตัวยู การทำความเข้าใจว่าเหตุใดโมเดลขนาดใหญ่จึงสรุปได้แม้จะมีข้อผิดพลาดในการฝึกอบรมเกือบเป็นศูนย์ถือเป็นขอบเขตการวิจัยที่กระตือรือร้น ซึ่งเชื่อมโยงกับการทำให้เป็นมาตรฐานโดยนัยจากเครื่องมือเพิ่มประสิทธิภาพเช่น SGD ผู้ปฏิบัติงานพึ่งพาการปรับแต่งเชิงประจักษ์ กฎการปรับขนาด และเส้นโค้งการตรวจสอบมากขึ้นเรื่อยๆ แทนที่จะเป็นข้อดีข้อเสียของตำราเรียนเพียงอย่างเดียว

ความแปรปรวนสูงจะแสดงเป็นช่องว่างขนาดใหญ่ระหว่างประสิทธิภาพการฝึกที่ยอดเยี่ยมและผลการทดสอบที่ไม่ดี - แบบจำลองจะจดจำข้อมูลการฝึก

ความซับซ้อนที่มากขึ้นทำให้โมเดลพอดีกับข้อมูลได้ดีขึ้น (อคติต่ำ) แต่ทำให้มีความอ่อนไหวต่อตัวอย่างการฝึกเฉพาะมากขึ้น (ความแปรปรวนที่สูงขึ้น)