Học tập tích cực
Học tập tích cực là một chiến lược đào tạo trong đó mô hình tự chọn những ví dụ chưa được gắn nhãn mà con người sẽ gắn nhãn tiếp theo.
Tổng quan
It matters because labeling data is expensive, and smart selection can reach high accuracy with a fraction of the annotations.
Lặn sâu
Hầu hết việc học có giám sát đều giả định rằng bạn đã có một lượng lớn dữ liệu được dán nhãn. Học tập tích cực đảo ngược điều đó: bạn bắt đầu với một tập hợp nhỏ được gắn nhãn và một nhóm lớn các ví dụ chưa được gắn nhãn, sau đó liên tục yêu cầu con người ("nhà tiên tri") chỉ gắn nhãn cho những ví dụ có nhiều thông tin nhất. Mô hình được huấn luyện, sử dụng để chấm điểm nhóm không được gắn nhãn và các mẫu có giá trị cao nhất được gửi để gắn nhãn — sau đó vòng lặp sẽ lặp lại. Các chiến lược lựa chọn phổ biến bao gồm lấy mẫu không chắc chắn (chọn các ví dụ mà mô hình ít tin cậy nhất), truy vấn theo ủy ban (chọn nơi tập hợp không đồng ý) và lấy mẫu đa dạng (bao gồm các vùng khác nhau của dữ liệu). Hoàn thành tốt, học tập tích cực có thể phù hợp với độ chính xác của toàn bộ dữ liệu bằng cách sử dụng ít nhãn hơn nhiều, đó là lý do tại sao nó phổ biến trong hình ảnh y tế, NLP và bất kỳ lĩnh vực nào mà chú thích của chuyên gia chậm hoặc tốn kém.
Hiểu biết kỹ thuật
Ý tưởng cốt lõi là ước tính 'giá trị' của từng điểm chưa được gắn nhãn trước khi trả tiền để gắn nhãn cho nó. Lấy mẫu không chắc chắn sử dụng xác suất của chính mô hình - ví dụ: chọn điểm có xác suất hạng cao nhất gần với cơ hội nhất hoặc có entropy cao nhất hoặc biên độ nhỏ nhất giữa hai hạng cao nhất. Ủy ban truy vấn huấn luyện một số mô hình và chọn ra những điểm mà họ không đồng ý nhất. Rủi ro chính là sai lệch lấy mẫu: việc theo đuổi sự không chắc chắn một cách tham lam có thể bỏ qua toàn bộ khu vực, do đó, các phương pháp nhận biết đa dạng hoặc theo đợt thường được kết hợp.
Tác động chiến lược
Quyết định rõ ràng hơn
Nó giúp bạn tách biệt các tuyên bố kỹ thuật rõ ràng khỏi ngôn ngữ tiếp thị.
Chi phí và ngân sách
Bạn có thể đặt các câu hỏi triển khai tốt hơn trước khi chi tiền hoặc thời gian.
Nhóm và quy trình làm việc
Các nhóm có sự hiểu biết chung sẽ đưa ra các quyết định về sản phẩm, chính sách và học tập tốt hơn.
Tương lai của học tập tích cực
Học tập tích cực ngày càng được kết hợp với các mô hình nền tảng và đào tạo trước lớn, trong đó mục tiêu chuyển từ dán nhãn mọi thứ sang tinh chỉnh một vài ví dụ có giá trị cao với chi phí thấp. Mong đợi sự tích hợp chặt chẽ hơn với khả năng giám sát yếu kém, đào tạo trước tự giám sát và công cụ con người trong vòng lặp gợi ý nhãn để người đánh giá xác nhận thay vì tạo ra. Vì chi phí ghi nhãn chi phối nhiều hoạt động triển khai thực tế nên việc lựa chọn tự động cộng với các giao diện chú thích hiệu quả sẽ vẫn là trọng tâm trong việc xây dựng các mô hình trong các lĩnh vực chuyên biệt, khan hiếm dữ liệu như y học và luật.
Triển khai trong thế giới thực
Một nhóm X quang đào tạo máy phát hiện khối u bằng cách gắn cờ mô hình cho các bản quét mơ hồ nhất để các bác sĩ X quang chuyên nghiệp gắn nhãn, cắt giảm đáng kể số giờ chú thích.
Hệ thống kiểm duyệt nội dung hoặc spam sẽ hiển thị các thông báo ở ranh giới mà con người đánh giá ít chắc chắn nhất, cải thiện nhanh nhất trong các trường hợp khó khăn.
Một công ty nhận dạng giọng nói chọn các đoạn âm thanh có mô hình không chắc chắn nhất (giọng, tiếng ồn) để gửi đi phiên âm, thay vì dán nhãn các đoạn âm thanh ngẫu nhiên.
Danh mục thương mại điện tử sử dụng truy vấn theo ủy ban để chọn hình ảnh sản phẩm trong đó nhiều bộ phân loại không đồng ý, ưu tiên chúng để ghi nhãn danh mục thủ công.
Rủi ro & lan can
Các nhóm khác nhau có thể sử dụng cùng một thuật ngữ một cách khác nhau, vì vậy hãy sớm xác định phạm vi.
Điểm chuẩn có thể trông mạnh mẽ trong khi hiệu suất trong thế giới thực không đồng đều.
Việc bỏ qua các kế hoạch đánh giá và chất lượng dữ liệu thường tạo ra những kết quả mong manh.
Lộ trình thực hiện
Bắt đầu với một định nghĩa đơn giản về kết quả bạn cần.
Chọn một số liệu thành công và một điều kiện thất bại trước khi thử nghiệm.
Chạy một thử nghiệm nhỏ với dữ liệu đại diện chứ không phải một bản demo bóng bẩy.
Ghi lại những chỗ mà Học tập Tích cực giúp ích và những chỗ mà các phương pháp đơn giản hơn sẽ tốt hơn.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Active Learning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Học sâu
Câu hỏi thường gặp
What is Active Learning?
Học tập tích cực là một chiến lược đào tạo trong đó mô hình tự chọn những ví dụ chưa được gắn nhãn mà con người sẽ gắn nhãn tiếp theo. Điều này quan trọng vì dữ liệu ghi nhãn rất tốn kém và lựa chọn thông minh có thể đạt độ chính xác cao chỉ với một phần chú thích.
Mục tiêu chính của học tập tích cực là gì?
Học tập tích cực nhằm mục đích tối đa hóa hiệu suất mô hình trên mỗi ví dụ được gắn nhãn bằng cách chọn những điểm có nhiều thông tin nhất để con người chú thích.
Trong học tập tích cực, 'nhà tiên tri' là gì?
Nhà tiên tri là nguồn ghi nhãn - thường là chuyên gia về con người - mà mô hình truy vấn các nhãn chân lý cơ bản trên các mẫu đã chọn.
Chiến lược nào chọn các ví dụ mà mô hình ít tự tin nhất?
Lấy mẫu không chắc chắn chọn các điểm trong đó xác suất dự đoán của mô hình gần nhất với dự đoán, chẳng hạn như entropy cao hoặc chênh lệch nhỏ giữa các lớp cao nhất.
Làm thế nào để truy vấn theo từng ủy ban quyết định những ví dụ nào sẽ được gắn nhãn?
Ủy ban truy vấn sẽ huấn luyện một nhóm và ưu tiên các điểm mà các thành viên không đồng ý, vì sự bất đồng báo hiệu các vùng thông tin.
Rủi ro chính của việc chỉ dựa vào việc lấy mẫu không chắc chắn là gì?
Việc tham lam theo đuổi những điểm không chắc chắn có thể tập trung quá mức vào một khu vực và bỏ sót những khu vực khác, vì vậy các phương pháp đa dạng hoặc nhận biết theo đợt thường được bổ sung.