Tiếp theoHướng dẫn tiếp theo
Truyền phát đầu cơ và dự đoán nhiều mã thông báo
kỹ thuật
HƯỚNG DẪN KỸ THUẬT
Dự đoán phù hợp
Dự đoán phù hợp bao bọc bất kỳ mô hình nào để đưa ra một tập hợp hoặc khoảng được đảm bảo chứa câu trả lời đúng với xác suất đã chọn, chẳng hạn như 90%.
Nghe hướng dẫn nàyAI thuật lại · ~2 min
Trên trang nàyĐọc trong 2 phút
Tổng quan
It turns a single guess into a trustworthy range with a mathematical coverage promise.
Lặn sâu
Hầu hết các mô hình đều đưa cho bạn dự đoán điểm hoặc điểm softmax trông có vẻ tự tin nhưng thường thì không. Dự đoán phù hợp khắc phục điều này. Bạn lấy một mô hình đã được đào tạo, cho điểm mức độ 'kỳ lạ' của mỗi mẫu bằng cách sử dụng thước đo sự không phù hợp (ví dụ: lỗi hoặc một trừ xác suất dự đoán) và tính các điểm đó trên một bộ hiệu chuẩn được đưa ra. Để dự đoán một điểm mới, bạn bao gồm mọi nhãn có điểm không phù hợp không tệ hơn khoảng 90 phần trăm của điểm hiệu chuẩn. Kết quả là một tập hợp dự đoán, có thể là một số nhãn để phân loại hoặc một khoảng thời gian để hồi quy. Bảo đảm tiêu đề không cần phân phối: miễn là dữ liệu của bạn có thể trao đổi được thì tập hợp này sẽ bao gồm giá trị thực ở mức đã chọn, bất kể bạn đã sử dụng mô hình cơ bản nào.
Triển khai trong thế giới thực
Trình phân loại tổn thương da trả về tập hợp {melanoma, nevus} khi không chắc chắn, nhắc nhở bác sĩ da liễu đánh giá thay vì một nhãn quá tự tin.
Mô hình giá nhà đưa ra khoảng $310k-$365k được đảm bảo chứa giá bán trong 90% thời gian đàm phán của người mua.
Hệ thống trả lời câu hỏi LLM đính kèm một tập hợp câu trả lời ứng cử viên nhỏ với đảm bảo phạm vi bao phủ, gắn cờ các tập hợp lớn là những trường hợp cần con người xem xét.
Quy trình sàng lọc độc tính của thuốc đưa ra khoảng thời gian dự đoán để các nhà hóa học biết hợp chất nào có ước tính hẹp đáng tin cậy so với hợp chất không chắc chắn.
Tương lai của dự đoán phù hợp
Nghiên cứu đang vượt qua yêu cầu về khả năng trao đổi theo chuỗi thời gian và phân phối dịch chuyển, sử dụng các phương pháp tuân thủ thích ứng và có trọng số để điều chỉnh các ngưỡng trực tuyến. Bảo hiểm có điều kiện, đảm bảo tỷ lệ được giữ cho từng nhóm nhỏ thay vì chỉ ở mức trung bình, là một biên giới mở lớn. Dự kiến các lớp tuân thủ sẽ xuất hiện bên trong đường ống LLM, công cụ phân loại y tế và hệ thống tự động khi các cơ quan quản lý ngày càng yêu cầu sự không chắc chắn được hiệu chỉnh, có thể kiểm tra được thay vì những dự đoán đơn thuần.
Đưa nó vào thực tế
Tại sao nó quan trọng
- Chi phí và ngân sách. Các quyết định về kiến trúc sẽ thúc đẩy hiệu suất và chi phí vận hành trong nhiều năm.
- Quyết định rõ ràng hơn. Giáo dục kỹ thuật giúp các nhóm chọn nhóm phù hợp chứ không chỉ nhóm mới nhất.
- Kiểm soát chất lượng. Lựa chọn kỹ thuật tốt hơn làm giảm sự cố về độ tin cậy trong sản xuất.
coi chừng
- Tối ưu hóa một điểm chuẩn có thể che giấu những điểm yếu của hệ thống rộng hơn.
- Chi phí cơ sở hạ tầng và bảo trì thường được đánh giá thấp.
- Khoảng cách về bảo mật và khả năng quan sát có thể tăng lên khi hệ thống trở nên phức tạp hơn.
Các bước tiếp theo
- Xác định các mục tiêu về độ trễ, chất lượng và chi phí trước khi triển khai.
- Điểm chuẩn trong điều kiện tải và dữ liệu thực tế.
- Giám sát thiết bị về lỗi, độ lệch và tác động của người dùng.
- Chuẩn bị đường dẫn khôi phục và ứng phó sự cố trước khi mở rộng quy mô.
Tiếp tục khám phá
Bản tin miễn phí
Nhận bản tóm tắt AI hàng ngày
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Take the Conformal Prediction quiz
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Câu hỏi thường gặp
What is Conformal Prediction?
Dự đoán phù hợp bao bọc bất kỳ mô hình nào để đưa ra một tập hợp hoặc khoảng được đảm bảo chứa câu trả lời đúng với xác suất đã chọn, chẳng hạn như 90%. Nó biến một dự đoán duy nhất thành một phạm vi đáng tin cậy với lời hứa bảo hiểm toán học.
Phương pháp dự đoán tuân thủ đưa ra kết quả gì thay vì một nhãn duy nhất?
Dự đoán phù hợp trả về một tập hợp (phân loại) hoặc khoảng (hồi quy) được thiết kế để chứa giá trị thực ở tỷ lệ đã chọn như 90%.
Giả định nào làm cơ sở cho việc đảm bảo phạm vi bảo hiểm tuân thủ tiêu chuẩn?
Sự đảm bảo dựa trên khả năng trao đổi, nghĩa là việc phân phối chung không thay đổi bằng cách sắp xếp lại các điểm. Nó không cần giả định về mô hình.
Vai trò của bộ hiệu chuẩn là gì?
Điểm không phù hợp được tính toán trên tập hợp hiệu chuẩn đã có sẵn và phân lượng của chúng sẽ xác định nhãn nào sẽ được đưa vào cho các điểm mới.
Nếu bạn đặt alpha = 0,1 thì bạn đang nhắm mục tiêu đến phạm vi nào?
Mức độ bao phủ bằng 1 trừ alpha, vì vậy alpha = 0,1 nhắm mục tiêu mức độ bao phủ 90% giá trị thực.
Điều gì thường xảy ra với bộ dự đoán khi mô hình rất không chắc chắn về đầu vào?
Đầu vào khó hơn mang lại nhiều nhãn có điểm nằm dưới ngưỡng, do đó, bộ lớn hơn báo hiệu độ không chắc chắn cao hơn.
Tiếp tục học hỏi
Hướng dẫn liên quan
Đã chọn thêm hướng dẫn cho chủ đề này