Grokking và khái quát hóa bị trì hoãn
Grokking là một hiện tượng đáng kinh ngạc khi mạng lưới thần kinh lần đầu tiên ghi nhớ dữ liệu huấn luyện của nó, đạt độ chính xác xác thực gần như bằng 0 trong một thời gian dài và sau đó đột ngột tổng quát hóa rất lâu sau khi độ chính xác huấn luyện đạt 100%.
Tổng quan
It overturns the intuition that learning and generalization happen together.
Lặn sâu
Được các nhà nghiên cứu OpenAI phát hiện vào năm 2021 về các nhiệm vụ thuật toán nhỏ như số học mô-đun, việc mò mẫm hiển thị một đường cong hai pha sắc nét. Ban đầu, mô hình hoàn toàn phù hợp với tập huấn luyện trong khi hiệu suất xác thực vẫn ở mức cơ hội, trông quá phù hợp một cách vô vọng. Sau đó, sau hàng nghìn hoặc thậm chí hàng triệu bước bổ sung mà không có tiến triển rõ ràng, độ chính xác xác thực đột ngột tăng lên gần như hoàn hảo. Lời giải thích hàng đầu là việc giảm trọng lượng (chính quy hóa) từ từ gây áp lực lên mạng để từ bỏ một giải pháp ghi nhớ dễ vỡ và khám phá một giải pháp có cấu trúc nhỏ gọn thực sự nắm bắt được quy tắc cơ bản, ví dụ như biểu diễn phép cộng mô-đun dưới dạng phép quay trên một vòng tròn. Grokking được thể hiện rõ nhất trên các tập dữ liệu tổng hợp nhỏ, nhưng việc hiểu nó sẽ làm sáng tỏ các cơ chế sâu hơn về thời điểm và lý do khái quát hóa xuất hiện.
Hiểu biết kỹ thuật
Các nghiên cứu cơ học đã thiết kế ngược các mạng có rãnh và nhận thấy chúng triển khai các thuật toán rõ ràng, chẳng hạn như sử dụng các phép nhúng hình tròn giống Fourier để thực hiện số học mô-đun thông qua nhận dạng lượng giác. Quá trình chuyển đổi tương quan với việc các trọng số của mạng trở nên thưa thớt hơn và có mức chuẩn thấp hơn trong quá trình chính quy hóa: quá trình ghi nhớ cần các trọng số lớn, không đều, trong khi mạch tổng quát hóa đơn giản hơn. Do đó, Grokking minh họa sự cạnh tranh giữa giải pháp ghi nhớ nhanh chóng và giải pháp khái quát hóa chậm hơn, hiệu quả hơn.
Tác động chiến lược
Quyết định rõ ràng hơn
Nó giúp bạn tách biệt các tuyên bố kỹ thuật rõ ràng khỏi ngôn ngữ tiếp thị.
Chi phí và ngân sách
Bạn có thể đặt các câu hỏi triển khai tốt hơn trước khi chi tiền hoặc thời gian.
Nhóm và quy trình làm việc
Các nhóm có sự hiểu biết chung sẽ đưa ra các quyết định về sản phẩm, chính sách và học tập tốt hơn.
Tương lai của Grokking và sự khái quát hóa bị trì hoãn
Grokking là cánh cửa dẫn vào khoa học khái quát hóa mà các nhà nghiên cứu hy vọng có thể mở rộng quy mô. Các câu hỏi mở bao gồm liệu việc khái quát hóa bị trì hoãn có diễn ra âm thầm bên trong các mô hình lớn hay không, cách phát hiện hoặc đẩy nhanh quá trình chuyển đổi và ý nghĩa của việc biết khi nào một mô hình đã thực sự học được một khái niệm so với các ví dụ đã được ghi nhớ. Thông tin chi tiết có thể cung cấp thông tin chính quy, lịch đào tạo và công cụ diễn giải tốt hơn, đồng thời có thể giúp dự đoán các khả năng mới xuất hiện trong các mô hình ngôn ngữ lớn.
Triển khai trong thế giới thực
Nghiên cứu các nhiệm vụ số học mô-đun để thiết kế ngược các mạch chính xác mà mạng học
Chứng minh sự giảm trọng lượng thúc đẩy sự chuyển đổi từ ghi nhớ sang khái quát hóa thực sự như thế nào
Cung cấp thông tin cho nghiên cứu về khả năng diễn giải bằng cách đưa ra các hành vi mô hình rõ ràng, được hiểu đầy đủ để phân tích
Cảnh báo những người thực hiện rằng việc xác nhận sớm không phải lúc nào cũng có nghĩa là mô hình không học được
Rủi ro & lan can
Các nhóm khác nhau có thể sử dụng cùng một thuật ngữ một cách khác nhau, vì vậy hãy sớm xác định phạm vi.
Điểm chuẩn có thể trông mạnh mẽ trong khi hiệu suất trong thế giới thực không đồng đều.
Việc bỏ qua các kế hoạch đánh giá và chất lượng dữ liệu thường tạo ra những kết quả mong manh.
Lộ trình thực hiện
Bắt đầu với một định nghĩa đơn giản về kết quả bạn cần.
Chọn một số liệu thành công và một điều kiện thất bại trước khi thử nghiệm.
Chạy một thử nghiệm nhỏ với dữ liệu đại diện chứ không phải một bản demo bóng bẩy.
Tài liệu nơi Grokking và Delayed Generalization hữu ích cũng như nơi các phương pháp đơn giản hơn sẽ tốt hơn.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Grokking and Delayed Generalization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Chính quy hóa
Câu hỏi thường gặp
What is Grokking and Delayed Generalization?
Grokking là một hiện tượng đáng kinh ngạc khi mạng lưới thần kinh lần đầu tiên ghi nhớ dữ liệu huấn luyện của nó, đạt độ chính xác xác thực gần như bằng 0 trong một thời gian dài và sau đó đột ngột tổng quát hóa rất lâu sau khi độ chính xác huấn luyện đạt 100%. Nó đảo ngược trực giác cho rằng việc học và khái quát hóa xảy ra cùng nhau.
Điều gì định nghĩa việc mò mẫm trong quá trình đào tạo mạng lưới thần kinh?
Grokking là bước nhảy vọt đột ngột đến hiệu suất xác thực tốt diễn ra tốt đẹp sau khi độ chính xác của quá trình đào tạo đã ở mức 100%.
Việc mò mẫm được quan sát rõ ràng đầu tiên là về loại nhiệm vụ nào?
OpenAI các nhà nghiên cứu đã báo cáo việc mò mẫm vào năm 2021 về các vấn đề thuật toán tổng hợp nhỏ chẳng hạn như phép cộng mô-đun.
Yếu tố nào thường được cho là thúc đẩy quá trình chuyển đổi sang khái quát hóa trong mò mẫm?
Sự suy giảm trọng lượng dần dần đẩy mạng ra khỏi giải pháp ghi nhớ dễ vỡ hướng tới một mạch tổng quát, nhỏ gọn.
Khi các nhà nghiên cứu thiết kế ngược một mạng lưới phức tạp dựa trên số học mô-đun, họ đã tìm thấy điều gì?
Khả năng diễn giải cơ học cho thấy mạng đã học được các biểu diễn lượng giác, hình tròn để tính toán số học mô-đun.
Tại sao mò mẫm được mô tả là sự cạnh tranh giữa hai giải pháp?
Các mạng nhanh chóng tìm ra giải pháp ghi nhớ nhưng dưới sự chính quy hóa, cuối cùng sẽ hội tụ về một mạch tổng quát hóa đơn giản hơn.