Xác thực chéo
Xác thực chéo là một kỹ thuật lấy mẫu lại để ước tính mức độ khái quát của một mô hình đối với dữ liệu không nhìn thấy được.
Tổng quan
It makes better use of limited data and gives a more reliable performance estimate than a single train/test split.
Lặn sâu
Việc phân chia chuyến tàu/kiểm tra đơn lẻ rất mong manh: điểm bạn nhận được phụ thuộc rất nhiều vào hàng nào tình cờ xuất hiện trong tập kiểm tra. Xác thực chéo khắc phục điều này bằng cách luân phiên vai trò của bộ kiểm tra. Trong xác thực chéo k-fold, bạn phân vùng dữ liệu thành k nếp gấp bằng nhau, huấn luyện k-1 trong số đó, đánh giá trên nếp gấp được giữ và lặp lại k lần để mỗi hàng được kiểm tra chính xác một lần. Tính trung bình điểm k mang lại ước tính ổn định hơn cộng với thước đo độ biến thiên. Các lựa chọn phổ biến là gấp 5 hoặc 10 lần. Các biến thể bao gồm k-fold phân tầng (bảo toàn tỷ lệ lớp cho dữ liệu không cân bằng), loại bỏ một lần (k bằng số lượng mẫu) và phân tách chuỗi thời gian không bao giờ đào tạo về tương lai để dự đoán quá khứ.
Hiểu biết kỹ thuật
Xác thực chéo có tác dụng mạnh mẽ nhất đối với việc lựa chọn mô hình và điều chỉnh siêu tham số: bạn so sánh các cấu hình theo điểm xác thực trung bình của chúng thay vì trang bị quá mức cho một phần tách. Một cạm bẫy nghiêm trọng là rò rỉ dữ liệu - bất kỳ quá trình tiền xử lý nào 'nhìn thấy' toàn bộ tập dữ liệu (chia tỷ lệ, lựa chọn tính năng, cắt bỏ) phải vừa khít trong mỗi màn hình, không phải trước khi phân tách, nếu không ước tính của bạn sẽ bị sai lệch lạc quan. Xác thực chéo lồng nhau tách việc điều chỉnh khỏi đánh giá cuối cùng để tránh rò rỉ này.
Tác động chiến lược
Quyết định rõ ràng hơn
Nó giúp bạn tách biệt các tuyên bố kỹ thuật rõ ràng khỏi ngôn ngữ tiếp thị.
Chi phí và ngân sách
Bạn có thể đặt các câu hỏi triển khai tốt hơn trước khi chi tiền hoặc thời gian.
Nhóm và quy trình làm việc
Các nhóm có sự hiểu biết chung sẽ đưa ra các quyết định về sản phẩm, chính sách và học tập tốt hơn.
Tương lai của xác thực chéo
Khi các tập dữ liệu và mô hình phát triển, việc thực hiện k chu trình đào tạo đầy đủ trở nên đắt đỏ, do đó, những người thực hành ngày càng ưa chuộng một bộ xác thực lớn duy nhất được tổ chức cho học sâu trong khi dành việc xác thực chéo cho các tập dữ liệu nhỏ hoặc dạng bảng. ML tự động và các công cụ như GridSearchCV và Optuna của scikit-learn đưa xác thực chéo vào tìm kiếm siêu tham số theo mặc định. Nghiên cứu tiếp tục dựa trên các giá trị gần đúng rẻ hơn, đường ống chống rò rỉ và xác thực thích hợp cho dữ liệu được nhóm, phân cấp và phụ thuộc vào thời gian.
Triển khai trong thế giới thực
Sử dụng xác thực chéo 5 lần để so sánh hồi quy logistic, rừng ngẫu nhiên và tăng cường độ dốc trước khi áp dụng một mô hình.
Áp dụng nếp gấp k phân tầng trên tập dữ liệu phát hiện gian lận không cân bằng để mỗi nếp gấp giữ tỷ lệ loại hiếm gần như nhau.
Chạy GridSearchCV hoặc RandomizedSearchCV, xác thực chéo mọi kết hợp siêu tham số để chọn cài đặt tốt nhất.
Sử dụng xác thực chéo chuỗi thời gian (cuộn/chuỗi tiếp) để đánh giá người dự báo tồn kho hoặc nhu cầu mà không cần đào tạo về dữ liệu trong tương lai.
Rủi ro & lan can
Các nhóm khác nhau có thể sử dụng cùng một thuật ngữ một cách khác nhau, vì vậy hãy sớm xác định phạm vi.
Điểm chuẩn có thể trông mạnh mẽ trong khi hiệu suất trong thế giới thực không đồng đều.
Việc bỏ qua các kế hoạch đánh giá và chất lượng dữ liệu thường tạo ra những kết quả mong manh.
Lộ trình thực hiện
Bắt đầu với một định nghĩa đơn giản về kết quả bạn cần.
Chọn một số liệu thành công và một điều kiện thất bại trước khi thử nghiệm.
Chạy một thử nghiệm nhỏ với dữ liệu đại diện chứ không phải một bản demo bóng bẩy.
Tài liệu nơi Xác thực chéo hữu ích và nơi các phương pháp đơn giản hơn sẽ tốt hơn.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Cross-Validation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Bộ mã hóa chéo và bộ mã hóa kép
Câu hỏi thường gặp
What is Cross-Validation?
Xác thực chéo là một kỹ thuật lấy mẫu lại để ước tính mức độ khái quát của một mô hình đối với dữ liệu không nhìn thấy được. Nó tận dụng tốt hơn dữ liệu hạn chế và đưa ra ước tính hiệu suất đáng tin cậy hơn so với việc phân chia đào tạo/kiểm tra đơn lẻ.
Trong xác thực chéo k-Fold tiêu chuẩn, mỗi điểm dữ liệu được sử dụng để thử nghiệm bao nhiêu lần?
Mỗi lần gấp đóng vai trò là tập kiểm tra chính xác một lần trong k vòng, vì vậy mỗi mẫu được kiểm tra một lần duy nhất và được huấn luyện trên phần còn lại.
Ưu điểm chính của xác thực chéo k-Fold so với phân chia thử nghiệm/tàu hỏa đơn lẻ là gì?
Bằng cách lấy trung bình trên nhiều lần, xác thực chéo làm giảm sự khác biệt của ước tính hiệu suất so với việc dựa vào một lần phân chia tùy ý.
Tại sao việc xác thực chéo k-fold thông thường lại không phù hợp để dự báo chuỗi thời gian?
Việc xáo trộn dữ liệu theo thứ tự thời gian sẽ đưa tương lai vào quá trình đào tạo, vì vậy CV chuỗi thời gian sử dụng các phân tách chuỗi tiến chỉ đào tạo dựa trên các quan sát trong quá khứ.