Tiếp theoHướng dẫn tiếp theo
Mô hình phần thưởng Bradley-Terry
Nguyên tắc cơ bản
HƯỚNG DẪN AI về ngôn ngữ
Mô hình phần thưởng
Mô hình phần thưởng ánh xạ lời nhắc và phản hồi theo điểm vô hướng nhằm ước tính sở thích hoặc mục tiêu khác.
Nghe hướng dẫn nàyAI thuật lại · ~2 min
Trên trang nàyĐọc trong 2 phút
Tổng quan
Nó là một đại diện được học hỏi chứ không phải thước đo trực tiếp về giá trị con người.
Lặn sâu
Trong quy trình kiểu RLHF, mô hình khen thưởng thường được đào tạo dựa trên sự so sánh của con người về kết quả đầu ra của mô hình. Việc mất ưu tiên theo cặp khuyến khích phản hồi ưu tiên đạt điểm cao hơn phản hồi bị từ chối. Khi suy luận, người giỏi nhất trong số N có thể lấy mẫu câu trả lời và chọn ứng cử viên có điểm cao nhất. Việc tối ưu hóa proxy có thể dẫn đến việc hack phần thưởng khi điểm số không hoàn hảo. InstructGPT đã thu thập thứ hạng con người từ 4 đến 9 câu trả lời mô hình cho một lời nhắc và chuyển đổi các thứ hạng đó thành các ưu tiên theo cặp để đào tạo mô hình phần thưởng. Mô hình ưu tiên Bradley–Terry phổ biến chuyển đổi sự khác biệt giữa điểm số phản hồi vô hướng thành xác suất ưu tiên và sự mất mát theo cặp huấn luyện các phản hồi ưu tiên đạt điểm cao hơn. Việc triển khai mô hình phần thưởng phổ biến sử dụng đầu chấm điểm chuỗi vô hướng, mặc dù kiến trúc có thể khác nhau. Các tập hợp có thể tiết lộ sự bất đồng của người ghi điểm nhưng không thể loại bỏ các lỗi mô hình chung hoặc đảm bảo chống lại việc hack phần thưởng.
Triển khai trong thế giới thực
Huấn luyện từ bảng xếp hạng phản ứng theo cặp.
Sử dụng điểm số để xếp hạng các câu trả lời của ứng viên trong lựa chọn tốt nhất trong N.
Kiểm tra dự đoán phần thưởng trên các so sánh được đưa ra.
Kiểm tra các kết quả đầu ra đạt điểm cao nhưng vi phạm hành vi dự kiến.
Tương lai của mô hình khen thưởng
Các mô hình khen thưởng vẫn là thành phần hữu ích của một số quy trình liên kết, nhưng yêu cầu đánh giá liên tục và các biện pháp bảo vệ chống lại việc tối ưu hóa các hành vi ngoài ý muốn.
Đưa nó vào thực tế
Tại sao nó quan trọng
- Tốc độ và tỷ lệ. Quy trình công việc ngôn ngữ có thể di chuyển nhanh hơn mà không làm mất tính nhất quán.
- Truy cập và tiếp cận. Nó mở rộng quyền truy cập vào các ngôn ngữ và phong cách giao tiếp.
- Quyết định rõ ràng hơn. Các nhóm có thể dành nhiều thời gian hơn để đánh giá trong khi quá trình tự động hóa xử lý sự lặp lại.
coi chừng
- Sự thật ảo giác có thể lặng lẽ đi vào báo cáo, luồng hỗ trợ hoặc kết quả nghiên cứu.
- Sự nhạy cảm kịp thời có thể tạo ra kết quả không nhất quán đối với các yêu cầu tương tự.
- Dữ liệu văn bản nhạy cảm có thể bị lộ nếu khả năng kiểm soát quyền truy cập yếu.
Các bước tiếp theo
- Xác định định dạng đầu ra, âm thanh và tiêu chuẩn chất lượng trước khi triển khai.
- Phản hồi mặt đất với các nguồn đáng tin cậy bất cứ khi nào độ chính xác quan trọng.
- Duy trì điểm kiểm tra đánh giá của con người đối với các kết quả đầu ra có mức độ rủi ro cao.
- Theo dõi các kiểu lỗi và đào tạo lại các lời nhắc hoặc quy trình làm việc thường xuyên.
Tiếp tục khám phá
Bản tin miễn phí
Nhận bản tóm tắt AI hàng ngày
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Làm bài kiểm tra về Mô hình phần thưởng
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Câu hỏi thường gặp
Mô hình phần thưởng là gì?
Mô hình phần thưởng ánh xạ lời nhắc và phản hồi theo điểm vô hướng nhằm ước tính sở thích hoặc mục tiêu khác. Nó là một đại diện được học hỏi chứ không phải thước đo trực tiếp về giá trị con người.
Đầu ra chính của mô hình khen thưởng cho một cặp phản hồi nhanh chóng nhất định là gì?
Mô hình phần thưởng ánh xạ lời nhắc và phản hồi tới một số vô hướng biểu thị chất lượng dự đoán hoặc sở thích của con người.
Bài báo InstructGPT đã thu thập định dạng phản hồi nào để đào tạo mô hình phần thưởng của nó?
Người gắn nhãn GPT đã xếp hạng các nhóm từ bốn đến chín đầu ra mô hình cho một lời nhắc; bảng xếp hạng đã được chuyển đổi thành so sánh theo cặp để đào tạo theo mô hình phần thưởng. Điều này là cụ thể cho thủ tục của bài báo đó.
Việc mất mô hình phần thưởng tiêu chuẩn tối ưu hóa điều gì?
Trong mô hình Bradley–Terry, sự khác biệt về điểm số vô hướng sẽ tham số hóa xác suất mà một phản hồi này được ưu tiên hơn một phản hồi khác và các chuỗi tổn thất theo cặp sẽ ghi điểm tương ứng. Những điểm số này không phải là thước đo chất lượng được hiệu chỉnh tự động.
'hack phần thưởng' là gì?
Việc hack phần thưởng xảy ra khi mô hình tìm thấy các lối tắt (như độ dài quá mức hoặc lời tâng bốc) mà mô hình phần thưởng không hoàn hảo đánh giá cao nhưng con người thì không.
Mô hình phần thưởng có nguồn gốc kiến trúc từ mô hình ngôn ngữ như thế nào?
Trong thiết lập mô hình phần thưởng chung, xương sống mô hình ngôn ngữ được điều chỉnh bằng đầu ghi điểm vô hướng tạo ra một điểm cho chuỗi phản hồi nhanh chóng. Điều này mô tả thiết lập đó, không phải mọi kiến trúc mô hình phần thưởng.
Tiếp tục học hỏi
Hướng dẫn liên quan
Đã chọn thêm hướng dẫn cho chủ đề này