Học tập tự giám sát
Học tập tự giám sát đào tạo các mô hình trên dữ liệu chưa được gắn nhãn bằng cách phát minh ra một nhiệm vụ có câu trả lời được ẩn bên trong chính dữ liệu đó.
Tổng quan
It is how modern language and vision foundation models learn from the raw internet without armies of human labelers.
Lặn sâu
Việc ghi nhãn dữ liệu bằng tay rất chậm và tốn kém, tuy nhiên thế giới lại tràn ngập văn bản, hình ảnh, âm thanh và video không được gắn nhãn. Học tập tự giám sát mở khóa nó bằng cách tạo ra 'nhiệm vụ giả định' trong đó dữ liệu cung cấp câu trả lời của riêng nó. Ví dụ kinh điển là mô hình ngôn ngữ đeo mặt nạ, được BERT sử dụng: ẩn một số từ trong câu và huấn luyện mô hình để dự đoán chúng từ ngữ cảnh. Mô hình kiểu GPT dự đoán từ tiếp theo. Trong tầm nhìn, các phương pháp tương phản như SimCLR hiển thị cho mô hình hai phần cắt tăng cường của cùng một hình ảnh và dạy nó rằng chúng thuộc về nhau trong khi đẩy các hình ảnh khác nhau ra xa nhau. Việc giải những câu đố tự tạo này buộc mô hình phải xây dựng những cách thể hiện nội tại phong phú về ý nghĩa và cấu trúc. Sau đó, những biểu diễn đó được chuyển giao mạnh mẽ sang các tác vụ thực tế tiếp theo với ít hoặc không có dữ liệu được gắn nhãn.
Hiểu biết kỹ thuật
Bí quyết là tạo ra tín hiệu giám sát miễn phí. Trong mô hình đeo mặt nạ, mã thông báo ẩn là nhãn, do đó, tổn thất có thể được tính toán mà không cần bất kỳ chú thích nào của con người. Trong học tập tương phản, hai phần bổ sung của một hình ảnh tạo thành một 'cặp dương' sẽ nằm gần nhau trong không gian nhúng, trong khi các hình ảnh khác là 'âm bản' bị đẩy ra xa. Dù bằng cách nào, mô hình được tối ưu hóa trên các nhãn bắt nguồn hoàn toàn từ cấu trúc của chính dữ liệu, tìm hiểu các tính năng chung mà sau này chỉ cần tinh chỉnh nhẹ.
Tác động chiến lược
Quyết định rõ ràng hơn
Nó giúp bạn tách biệt các tuyên bố kỹ thuật rõ ràng khỏi ngôn ngữ tiếp thị.
Chi phí và ngân sách
Bạn có thể đặt các câu hỏi triển khai tốt hơn trước khi chi tiền hoặc thời gian.
Nhóm và quy trình làm việc
Các nhóm có sự hiểu biết chung sẽ đưa ra các quyết định về sản phẩm, chính sách và học tập tốt hơn.
Tương lai của việc học tự giám sát
Học tập tự giám sát là động cơ đằng sau các mô hình nền tảng ngày nay và vai trò đó sẽ ngày càng phát triển. Xu hướng rõ ràng là hướng tới đào tạo trước đa phương thức, trong đó một mô hình duy nhất cùng học từ văn bản, hình ảnh, âm thanh và video bằng cách sử dụng các mục tiêu tự giám sát. Các nhà nghiên cứu đang đẩy mạnh các phương pháp tương phản sang các phương pháp dự đoán ẩn trong các kỹ thuật thị giác và tự chắt lọc không cần ví dụ tiêu cực. Khi dữ liệu được gắn nhãn chất lượng cao trở thành nút thắt cổ chai, việc học cấu trúc hữu ích trực tiếp từ các luồng khổng lồ chưa được gắn nhãn sẽ vẫn là chiến lược trọng tâm để mở rộng quy mô AI.
Triển khai trong thế giới thực
Học ngôn ngữ BERT bằng cách dự đoán các từ bị ẩn, sau đó tinh chỉnh để tìm kiếm, cảm xúc hoặc trả lời câu hỏi
SimCLR đào tạo trước bộ mã hóa hình ảnh trên các ảnh không được gắn nhãn để sau này có thể phân loại với rất ít nhãn
Mô hình kiểu GPT học cách viết bằng cách liên tục dự đoán mã thông báo tiếp theo trên kho văn bản khổng lồ
Các mẫu giọng nói được huấn luyện trước trên âm thanh thô chưa được gắn nhãn (dự đoán các phân đoạn âm thanh bị che) trước khi được điều chỉnh để phiên âm
Rủi ro & lan can
Các nhóm khác nhau có thể sử dụng cùng một thuật ngữ một cách khác nhau, vì vậy hãy sớm xác định phạm vi.
Điểm chuẩn có thể trông mạnh mẽ trong khi hiệu suất trong thế giới thực không đồng đều.
Việc bỏ qua các kế hoạch đánh giá và chất lượng dữ liệu thường tạo ra những kết quả mong manh.
Lộ trình thực hiện
Bắt đầu với một định nghĩa đơn giản về kết quả bạn cần.
Chọn một số liệu thành công và một điều kiện thất bại trước khi thử nghiệm.
Chạy một thử nghiệm nhỏ với dữ liệu đại diện chứ không phải một bản demo bóng bẩy.
Ghi lại những chỗ Học tập tự giám sát hữu ích và những chỗ nào các phương pháp đơn giản hơn sẽ tốt hơn.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Self-Supervised Learning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Học tập có giám sát
Câu hỏi thường gặp
What is Self-Supervised Learning?
Học tập tự giám sát đào tạo các mô hình trên dữ liệu chưa được gắn nhãn bằng cách phát minh ra một nhiệm vụ có câu trả lời được ẩn bên trong chính dữ liệu đó. Đó là cách các mô hình nền tảng ngôn ngữ và tầm nhìn hiện đại học hỏi từ internet thô mà không có đội quân người gắn nhãn.
Điều gì làm cho việc học 'tự giám sát'?
Học tập tự giám sát phát minh ra một nhiệm vụ giả định trong đó câu trả lời được ẩn trong dữ liệu, do đó không cần sự gắn nhãn của con người.
Tại sao việc học tự giám sát lại có giá trị đối với các mô hình nền tảng?
Vì tín hiệu giám sát xuất phát từ chính dữ liệu nên các mô hình có thể được huấn luyện trước trên kho dữ liệu khổng lồ không được gắn nhãn từ web.
Sau quá trình đào tạo trước tự giám sát, điều gì thường xảy ra tiếp theo?
Quá trình đào tạo trước xây dựng các biểu diễn chung có khả năng truyền tải tốt, do đó, chỉ cần tinh chỉnh nhẹ trên dữ liệu được gắn nhãn cho các tác vụ cụ thể.
Nhiệm vụ tự giám sát của mô hình kiểu GPT khác với nhiệm vụ của BERT như thế nào?
Các mô hình kiểu GPT được đào tạo để dự đoán mã thông báo tiếp theo theo trình tự, trong khi BERT dự đoán mã thông báo bị che bằng cách sử dụng cả ngữ cảnh bên trái và bên phải.