Tiếp theoHướng dẫn tiếp theo
Mã hóa mã thông báo và cặp byte
kỹ thuật
HƯỚNG DẪN KỸ THUẬT
Mã hóa mục tiêu thay thế một danh mục bằng một bản tóm tắt bằng số về kết quả quan sát được cho danh mục đó trong dữ liệu huấn luyện được phép.
Nghe hướng dẫn nàyAI thuật lại · ~3 min
Nó có thể làm cho các đầu vào phân loại với nhiều giá trị riêng biệt dễ dàng hơn để mô hình hóa, nhưng nó đòi hỏi phải phân tách cẩn thận các nhãn huấn luyện để tránh rò rỉ.
Categorical features describe groups such as depots, suppliers or product types. One-hot encoding creates a separate indicator for each category. With many categories, target encoding offers another representation: replace each category with an outcome summary, such as a mean delay for regression or a positive-outcome rate for binary classification. The useful signal is also the source of risk. Imagine a category that appears once. Its unsmoothed category mean is that row's outcome. If this value becomes an input for predicting the same row, the model is being given the answer. Strong training performance in this setup can disappear on new data. Cross-fitting helps construct safer training representations. Split the training data into folds, calculate category summaries using the other folds, and encode the held-out fold with those summaries. Repeat until each training row has an encoding built without its own fold's labels. The downstream model learns from these representations. At evaluation or prediction time, apply mappings learned from the permitted training data. Smoothing reduces the influence of categories with few observations by pulling their summaries toward a global training mean. A rare depot should not receive an extreme encoding solely because of one unusual delivery. The amount of smoothing is a modeling choice that needs validation. Scikit-learn's TargetEncoder documents an important distinction: fit_transform uses internal cross-fitting, while fitting and then transforming the same training data does not provide that equivalent protection. Do not assume every library implements the same behavior. Keep the encoder within the evaluation pipeline, define how unseen categories are handled, and adapt the splitting strategy when time order or repeated entities make ordinary random folds inappropriate.
Mô hình phân phối đại diện cho một kho sử dụng độ trễ trung bình lịch sử của nó, được tính toán từ dữ liệu huấn luyện. Sau đó, ánh xạ đã học tương tự sẽ được áp dụng cho các bản ghi đánh giá mà không cần xem xét kết quả của chúng.
Trong quy tắc làm mịn giả thuyết, một danh mục có hai kết quả là 10 và 20 được kết hợp với bốn quan sát trước đó với giá trị trung bình toàn cầu là 6. Giá trị được làm mịn là (30 cộng với 24) chia cho sáu hoặc 9.
Màn hình huấn luyện chứa một danh mục chỉ được hiển thị trong một hàng. Việc mã hóa hàng đó từ kết quả của chính nó sẽ tiết lộ nhãn của nó, vì vậy nhóm sẽ xây dựng biểu diễn đào tạo của mình từ các nếp gấp khác.
Một nhà phân tích sử dụng TargetEncode của scikit-learn trong Pipeline. Họ kiểm tra hành vi khớp chéo được ghi lại của nó thay vì giả định rằng sự phù hợp theo sau là biến đổi tương đương với fit_transform.
Bộ mã hóa phân loại sẽ vẫn hữu ích khi dữ liệu vận hành chứa số lượng lớn mã định danh thay đổi. Các nhóm có thể cải thiện độ tin cậy bằng cách theo dõi các danh mục mới, danh mục hiếm và những thay đổi trong mô hình kết quả của họ. Họ cũng nên giữ lại phiên bản mã hóa và giới hạn đào tạo cùng với mỗi mô hình được triển khai để có thể truy tìm dự đoán dựa trên ánh xạ được sử dụng. Đường ống tự động có thể giúp việc kiểm tra rò rỉ dễ dàng hơn, nhưng quyết định thiết kế quan trọng vẫn thuộc về con người: xác định kết quả nào có sẵn khi đưa ra dự đoán và đảm bảo mọi tính năng phái sinh đều tôn trọng ranh giới đó.
Bản tin miễn phí
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Mã hóa mục tiêu thay thế một danh mục bằng một bản tóm tắt bằng số về kết quả quan sát được cho danh mục đó trong dữ liệu huấn luyện được phép. Nó có thể làm cho các đầu vào phân loại với nhiều giá trị riêng biệt dễ dàng hơn để mô hình hóa, nhưng nó đòi hỏi phải phân tách cẩn thận các nhãn huấn luyện để tránh rò rỉ.
Chỉ với một quan sát, giá trị trung bình của danh mục sẽ bằng với mục tiêu của nó, làm rò rỉ câu trả lời vào đầu vào.
Các nếp gấp khác cung cấp số liệu thống kê về danh mục nên nhãn của nếp gấp được giữ lại không xác định cách trình bày của nó.
Tử số là 30 cộng bốn nhân sáu, hoặc 54. Mẫu số là hai cộng bốn, hoặc sáu. Kết quả là chín.
Các mẫu nhỏ có thể mang lại những giá trị cực đoan không ổn định và làm giảm bớt ảnh hưởng của chúng bằng cách sử dụng thông tin từ nhóm nghiên cứu rộng hơn.
Hành vi fit_transform được ghi lại bao gồm khớp chéo; fit theo sau bởi Transform trên cùng một hàng là không tương đương.
Tiếp tục học hỏi
Đã chọn thêm hướng dẫn cho chủ đề này
Tiếp theoHướng dẫn tiếp theo
Mã hóa mã thông báo và cặp byte
kỹ thuật