Grokking และความล่าช้าทั่วไป

Grokking เป็นปรากฏการณ์ที่น่าตกใจ โดยที่โครงข่ายประสาทเทียมจะจดจำข้อมูลการฝึกฝนของตนเป็นครั้งแรก โดยมีความแม่นยำในการตรวจสอบความถูกต้องเกือบเป็นศูนย์เป็นเวลานาน จากนั้นจึงสรุปอย่างฉับพลันทันทีหลังจากความแม่นยำในการฝึกสูงถึง 100% มันล้มล้างสัญชาตญาณที่ว่าการเรียนรู้และภาพรวมเกิดขึ้นพร้อมกัน

ค้นพบโดยนักวิจัย OpenAI ในปี 2021 ในงานอัลกอริทึมขนาดเล็ก เช่น เลขคณิตแบบแยกส่วน grokking แสดงเส้นโค้งสองเฟสที่คมชัด ในช่วงแรก โมเดลนี้เหมาะกับชุดการฝึกอย่างสมบูรณ์แบบ ในขณะที่ประสิทธิภาพการตรวจสอบยังมีโอกาสอยู่ และดูเหมือนเกินพอดีอย่างสิ้นหวัง จากนั้น หลังจากดำเนินการเพิ่มเติมหลายพันหรือหลายล้านขั้นตอนโดยไม่มีความคืบหน้าที่ชัดเจน ความแม่นยำในการตรวจสอบก็เพิ่มขึ้นจนเกือบจะสมบูรณ์แบบทันที คำอธิบายที่สำคัญคือน้ำหนักที่ลดลง (การทำให้เป็นมาตรฐาน) จะกดดันเครือข่ายอย่างช้าๆ ให้ละทิ้งโซลูชันที่จำง่าย และค้นพบโซลูชันที่มีโครงสร้างกะทัดรัดที่รวบรวมกฎพื้นฐานไว้จริง เช่น การแสดงการบวกแบบโมดูลาร์เป็นการหมุนบนวงกลม Grokking มองเห็นได้มากที่สุดบนชุดข้อมูลสังเคราะห์ขนาดเล็ก แต่การทำความเข้าใจกับสิ่งนี้จะช่วยให้เกิดความกระจ่างในกลไกที่ลึกซึ้งยิ่งขึ้นว่าเมื่อใดและเหตุใดลักษณะทั่วไปจึงเกิดขึ้น