Tiếp theoHướng dẫn tiếp theo
Lấy mẫu lại Bootstrap
kỹ thuật
HƯỚNG DẪN KỸ THUẬT
Class imbalance is when one outcome vastly outnumbers another — like 99.9% legitimate transactions versus 0.1% fraud — which tricks models into ignoring the rare but important class.
Nghe hướng dẫn nàyAI thuật lại · ~2 min
Resampling rebalances the training data so the model actually learns to spot the minority.
Khi các lớp bị sai lệch, một mô hình có thể đạt độ chính xác 99,9% bằng cách luôn dự đoán đa số và không bao giờ phát hiện được một gian lận nào, điều này là vô ích. Lấy mẫu lại sửa lỗi phân phối đào tạo theo hai cách rộng rãi. Lấy mẫu quá mức trùng lặp hoặc tổng hợp các ví dụ thiểu số - SMOTE cổ điển (Kỹ thuật lấy mẫu quá mức cho thiểu số tổng hợp) tạo ra các điểm mới bằng cách nội suy giữa một mẫu thiểu số và các mẫu thiểu số lân cận gần nhất thay vì sao chép chúng. Thay vào đó, việc lấy mẫu dưới sẽ loại bỏ phần lớn các ví dụ (ngẫu nhiên hoặc thông minh thông qua các phương pháp như liên kết Tomek hoặc NearMiss) để làm đều mọi thứ, với cái giá phải trả là loại bỏ dữ liệu. Các giải pháp thay thế tránh chạm vào dữ liệu bao gồm tính trọng số lớp (phạt các lỗi thiểu số nhiều hơn trong hàm mất mát) và điều chỉnh ngưỡng quyết định sau khi đào tạo.
Đào tạo người phát hiện gian lận thẻ tín dụng trong đó gian lận thực sự chiếm dưới 1% giao dịch, sử dụng SMOTE để khuếch đại các trường hợp gian lận hiếm gặp
Xây dựng mô hình y tế cho căn bệnh hiếm gặp chỉ ở vài phần trăm bệnh nhân, áp dụng trọng số lớp nên trường hợp bỏ sót sẽ bị phạt nặng
Phát hiện các mặt hàng bị lỗi trên dây chuyền sản xuất nơi hầu hết tất cả các sản phẩm đều vượt qua quá trình kiểm tra, lấy mẫu dưới các mặt hàng 'tốt' để cân bằng việc đào tạo
Gắn cờ các hành vi xâm nhập mạng hiếm gặp trong nhật ký an ninh mạng có lưu lượng truy cập thông thường chiếm ưu thế, được đánh giá bằng AUC Precision-Recall thay vì độ chính xác
Việc lấy mẫu lại ngày càng được tự động hóa bên trong các đường ống ML, với các thư viện như mất cân bằng học tích hợp trực tiếp vào xác thực chéo. Nghiên cứu đang chuyển sang hướng học tập nhạy cảm với chi phí và các chức năng mất mát được điều chỉnh - chẳng hạn như mất tiêu điểm, làm giảm trọng số của các ví dụ đa số dễ dàng - thường hoạt động tốt hơn so với việc lấy mẫu thô trên mạng sâu. Đối với dữ liệu dạng bảng và hình ảnh, các mô hình tổng hợp tổng hợp các mẫu thiểu số thực tế đang nổi lên như một sự kế thừa phức tạp hơn cho phép nội suy kiểu SMOTE.
Bản tin miễn phí
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Mất cân bằng giai cấp là khi một kết quả vượt xa kết quả khác — chẳng hạn như 99,9% giao dịch hợp pháp so với 0,1% gian lận — điều này khiến các mô hình bỏ qua loại hiếm nhưng quan trọng. Việc lấy mẫu lại sẽ cân bằng lại dữ liệu huấn luyện để mô hình thực sự học cách phát hiện ra thiểu số.
Nếu 99,9% trường hợp là âm tính, thì một mô hình luôn dự đoán âm tính sẽ có độ chính xác 99,9% trong khi không phát hiện được trường hợp dương tính nào, do đó, độ chính xác sẽ che giấu hoàn toàn thất bại ở loại hiếm.
SMOTE (Kỹ thuật lấy mẫu quá mức thiểu số tổng hợp) tạo ra các ví dụ thiểu số mới bằng cách nội suy giữa một điểm thiểu số và các lân cận thiểu số gần nhất của nó, thay vì chỉ đơn giản là sao chép chúng.
Trọng số lớp không ảnh hưởng đến dữ liệu và thay vào đó làm cho hàm mất sẽ xử phạt các lỗi đối với lớp thiểu số nặng nề hơn.
Việc lấy mẫu lại trước khi phân chia cho phép các điểm thiểu số gần giống nhau xuất hiện trong cả tập huấn luyện và tập kiểm tra, làm rò rỉ thông tin và tạo ra hiệu suất quá lạc quan, phi thực tế.
Việc lấy mẫu dưới sẽ cân bằng các lớp bằng cách loại bỏ các ví dụ đa số, điều này có thể loại bỏ dữ liệu thông tin và làm tổn hại đến khả năng học lớp đa số của mô hình.
Tiếp tục học hỏi
Đã chọn thêm hướng dẫn cho chủ đề này
Tiếp theoHướng dẫn tiếp theo
Lấy mẫu lại Bootstrap
kỹ thuật