Giả thuyết vé số
Giả thuyết về vé xổ số nói rằng bên trong một mạng lưới thần kinh lớn, được khởi tạo ngẫu nhiên, ẩn chứa một mạng con nhỏ - một 'vé trúng thưởng' - mạng con đó, được đào tạo riêng với cùng trọng số ban đầu, có thể phù hợp với độ chính xác của toàn bộ mạng.
Tổng quan
It matters because it suggests we are training far more parameters than we actually need.
Lặn sâu
Được đề xuất bởi Jonathan Frankle và Michael Carbin tại MIT vào năm 2018, giả thuyết này nảy sinh từ nghiên cứu cắt tỉa. Thông thường, bạn có thể giảm bớt một mạng đã được huấn luyện xuống còn 10-20% trọng lượng của nó mà không làm mất độ chính xác, nhưng việc huấn luyện mạng nhỏ đó lại từ đầu sẽ không thành công. Frankle và Carbin đã tìm ra mẹo: giữ nguyên trọng số ban đầu của các kết nối còn sót lại. Mạng con thưa thớt đó — tấm vé chiến thắng — sau đó được huấn luyện để đạt độ chính xác hoàn toàn một cách riêng biệt, đôi khi nhanh hơn mạng ban đầu dày đặc. Họ đã xác định các yêu cầu thông qua 'cắt tỉa cường độ lặp lại': huấn luyện, cắt bớt các trọng số có cường độ nhỏ nhất, tua lại phần còn lại về giá trị ban đầu và lặp lại. Kết quả ngụ ý rằng việc tham số hóa quá mức dày đặc chủ yếu giúp tối ưu hóa tìm ra một cấu trúc thưa thớt tốt, chứ không phải tất cả các trọng số đó đều cần thiết riêng lẻ.
Hiểu biết kỹ thuật
Quy trình cốt lõi là cắt bớt cường độ lặp đi lặp lại bằng cách tua lại trọng số: sau khi huấn luyện, loại bỏ các trọng số có cường độ thấp nhất, đặt lại các trọng số còn lại về mức khởi tạo ban đầu (hoặc điểm kiểm tra huấn luyện sớm, sàng lọc được gọi là 'tua lại'), sau đó huấn luyện lại. Sự kết hợp của một mặt nạ thưa thớt cụ thể VÀ việc khởi tạo phù hợp của nó là điều khiến một vé 'chiến thắng' — việc khởi tạo lại ngẫu nhiên cùng một mặt nạ sẽ phá hủy hiệu ứng.
Tác động chiến lược
Quyết định rõ ràng hơn
Nó giúp bạn tách biệt các tuyên bố kỹ thuật rõ ràng khỏi ngôn ngữ tiếp thị.
Chi phí và ngân sách
Bạn có thể đặt các câu hỏi triển khai tốt hơn trước khi chi tiền hoặc thời gian.
Nhóm và quy trình làm việc
Các nhóm có sự hiểu biết chung sẽ đưa ra các quyết định về sản phẩm, chính sách và học tập tốt hơn.
Giả thuyết về tương lai của vé số
Vé xổ số thúc đẩy nghiên cứu về việc đào tạo các mạng thưa thớt ngay từ đầu để tiết kiệm điện toán và năng lượng cũng như liệu vé có chuyển qua các tập dữ liệu và nhiệm vụ hay không. Việc cắt tỉa lặp lại mở rộng quy mô cho các mô hình hàng tỷ tham số vẫn còn tốn kém, do đó, công việc tiếp tục tìm vé với giá rẻ hoặc chứng minh chúng tồn tại (giả thuyết vé số 'mạnh' cho biết vé tồn tại khi khởi tạo mà không cần đào tạo gì cả). Mong đợi sự kết hợp với các mô hình trên thiết bị hiệu quả và AI xanh.
Triển khai trong thế giới thực
Nén bộ phân loại hình ảnh lớn xuống dưới 20% trọng lượng của nó để triển khai trên điện thoại trong khi vẫn giữ được độ chính xác
Tăng tốc độ đào tạo bằng cách chỉ xác định và đào tạo mạng con chiến thắng thưa thớt
Nghiên cứu khả năng chuyển trọng lượng bằng cách sử dụng lại phiếu tìm thấy trên một tập dữ liệu để bắt đầu đào tạo trên tập dữ liệu liên quan
Giảm năng lượng suy luận và bộ nhớ trong các thiết bị biên bằng cách gửi vé trúng thưởng được cắt bớt thay vì mô hình dày đặc
Rủi ro & lan can
Các nhóm khác nhau có thể sử dụng cùng một thuật ngữ một cách khác nhau, vì vậy hãy sớm xác định phạm vi.
Điểm chuẩn có thể trông mạnh mẽ trong khi hiệu suất trong thế giới thực không đồng đều.
Việc bỏ qua các kế hoạch đánh giá và chất lượng dữ liệu thường tạo ra những kết quả mong manh.
Lộ trình thực hiện
Bắt đầu với một định nghĩa đơn giản về kết quả bạn cần.
Chọn một số liệu thành công và một điều kiện thất bại trước khi thử nghiệm.
Chạy một thử nghiệm nhỏ với dữ liệu đại diện chứ không phải một bản demo bóng bẩy.
Tài liệu về giả thuyết vé xổ số sẽ hữu ích và các phương pháp đơn giản hơn sẽ tốt hơn.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Lottery Ticket Hypothesis quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Đào tạo tối ưu tính toán Chinchilla
Câu hỏi thường gặp
What is Lottery Ticket Hypothesis?
Giả thuyết về vé xổ số nói rằng bên trong một mạng lưới thần kinh lớn, được khởi tạo ngẫu nhiên, ẩn chứa một mạng con nhỏ - một 'vé trúng thưởng' - mạng con đó, được đào tạo riêng với cùng trọng số ban đầu, có thể phù hợp với độ chính xác của toàn bộ mạng. Nó quan trọng vì nó cho thấy chúng ta đang đào tạo nhiều thông số hơn mức chúng ta thực sự cần.
'Tấm vé trúng thưởng' trong giả thuyết này là gì?
Vé chiến thắng là một mạng con nhỏ, khi được đào tạo tách biệt với cùng trọng số ban đầu, sẽ đạt được độ chính xác tương đương với mạng dày đặc.
Tại sao việc huấn luyện mạng con được cắt bớt thường thất bại trừ khi bạn làm điều gì đó đặc biệt?
Thông tin chi tiết quan trọng là mặt nạ thưa thớt chỉ hoạt động khi được ghép nối với quá trình khởi tạo ban đầu phù hợp; việc khởi tạo lại ngẫu nhiên sẽ phá vỡ nó.
Ai đề xuất giả thuyết vé số?
Jonathan Frankle và Michael Carbin đã giới thiệu giả thuyết này trong bài báo MIT năm 2018 của họ.
Kỹ thuật nào được sử dụng để tìm vé trúng thưởng?
Việc cắt tỉa cường độ lặp lại sẽ huấn luyện nhiều lần, loại bỏ các trọng số có cường độ nhỏ nhất và tua lại phần còn lại về giá trị ban đầu của chúng.
Giả thuyết gợi ý điều gì về các mạng được tham số hóa quá mức lớn?
Phát hiện này ngụ ý việc tham số hóa quá mức sẽ hỗ trợ việc tìm kiếm một mạng con thưa thớt có thể huấn luyện được thay vì mọi trọng số đều cần thiết.