Tiếp theoHướng dẫn tiếp theo
Mô hình phần thưởng
Ngôn ngữ AI
HƯỚNG DẪN cơ bản
Mô hình phần thưởng Bradley-Terry
Mô hình Bradley-Terry là một phương pháp thống kê có tuổi đời hàng thế kỷ để biến các so sánh theo cặp (A nhịp B) thành điểm số.
Nghe hướng dẫn nàyAI thuật lại · ~2 min
Trên trang nàyĐọc trong 2 phút
Tổng quan
Trong AI hiện đại, nó hỗ trợ các mô hình khen thưởng tìm hiểu sở thích của con người từ 'câu trả lời nào tốt hơn?' nhãn, xương sống của RLHF.
Lặn sâu
Bradley-Terry, được giới thiệu vào năm 1952, giả định mọi vật phẩm đều có điểm sức mạnh tiềm ẩn và xác suất vật phẩm A đánh bại vật phẩm B là hàm logistic của chênh lệch điểm số của chúng. Trong quá trình căn chỉnh AI, điều này ánh xạ gọn gàng vào dữ liệu ưu tiên: người gắn nhãn nhìn thấy hai phản hồi mô hình và chọn phản hồi tốt hơn thay vì đưa ra xếp hạng tuyệt đối khó hiệu chỉnh. Một mô hình phần thưởng, thường là mô hình ngôn ngữ có đầu ra vô hướng, được đào tạo để phản hồi mà con người ưa thích sẽ nhận được phần thưởng vô hướng cao hơn. Phần thua là khả năng ghi nhật ký âm của xác suất Bradley-Terry: tối đa hóa log-sigmoid của (phần thưởng của phần thưởng được chọn trừ phần thưởng của phần bị từ chối). Sau đó, mô hình phần thưởng thu được sẽ cho điểm các kết quả đầu ra tùy ý, cung cấp tín hiệu cho thấy các thuật toán học tăng cường như PPO sẽ tối ưu hóa để làm cho các mô hình trở nên hữu ích và phù hợp hơn.
Triển khai trong thế giới thực
Huấn luyện mô hình phần thưởng trong RLHF để xếp hạng hai phản hồi của chatbot và cung cấp tín hiệu tốt hơn-xấu hơn để tinh chỉnh PPO.
Tối ưu hóa tùy chọn trực tiếp tinh chỉnh mô hình trực tiếp trên các cặp câu trả lời được chọn so với bị từ chối bằng cách sử dụng mất log-sigmoid Bradley-Terry.
Xếp hạng người chơi cờ vua hoặc thể thao điện tử thông qua Elo, về mặt toán học, mô hình này gần giống với mô hình Bradley-Terry về kết quả trò chơi.
Xây dựng trình xếp hạng đề xuất nội dung từ dữ liệu nhấp chuột 'người dùng ưa thích A hơn B' thay vì xếp hạng theo sao tuyệt đối.
Tương lai của mô hình phần thưởng Bradley-Terry
Bradley-Terry giả định một thứ hạng nhất quán duy nhất và các sở thích bắc cầu, sẽ bị phá vỡ khi con người không đồng ý hoặc theo chu kỳ sở thích. Nghiên cứu đang hướng tới các mô hình nắm bắt sự phân bổ sở thích, phần thưởng đa chiều (sự hữu ích, an toàn, trung thực được tính điểm riêng) và các phương pháp như Nash học hỏi từ phản hồi của con người loại bỏ giả định về một điểm số. DPO và các biến thể của nó ngày càng đưa mục tiêu Bradley-Terry trực tiếp vào đào tạo chính sách. Mong đợi các kế hoạch so sánh phong phú hơn, bao gồm thứ hạng của nhiều hơn hai mục và các ưu tiên dựa trên mức độ tin cậy, để giảm việc hack phần thưởng.
Đưa nó vào thực tế
Tại sao nó quan trọng
- Quyết định rõ ràng hơn. Nó giúp bạn tách biệt các tuyên bố kỹ thuật rõ ràng khỏi ngôn ngữ tiếp thị.
- Chi phí và ngân sách. Bạn có thể đặt các câu hỏi triển khai tốt hơn trước khi chi tiền hoặc thời gian.
- Nhóm và quy trình làm việc. Các nhóm có sự hiểu biết chung sẽ đưa ra các quyết định về sản phẩm, chính sách và học tập tốt hơn.
coi chừng
- Các nhóm khác nhau có thể sử dụng cùng một thuật ngữ một cách khác nhau, vì vậy hãy sớm xác định phạm vi.
- Điểm chuẩn có thể trông mạnh mẽ trong khi hiệu suất trong thế giới thực không đồng đều.
- Việc bỏ qua các kế hoạch đánh giá và chất lượng dữ liệu thường tạo ra những kết quả mong manh.
Các bước tiếp theo
- Bắt đầu với một định nghĩa đơn giản về kết quả bạn cần.
- Chọn một số liệu thành công và một điều kiện thất bại trước khi thử nghiệm.
- Chạy một thử nghiệm nhỏ với dữ liệu đại diện chứ không phải một bản demo bóng bẩy.
- Tài liệu về nơi mà Mô hình phần thưởng Bradley-Terry hữu ích và nơi các phương pháp đơn giản hơn sẽ tốt hơn.
Tiếp tục khám phá
Bản tin miễn phí
Nhận bản tóm tắt AI hàng ngày
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Làm bài kiểm tra về Mô hình phần thưởng Bradley-Terry
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Câu hỏi thường gặp
Mô hình phần thưởng Bradley-Terry là gì?
Mô hình Bradley-Terry là một phương pháp thống kê có tuổi đời hàng thế kỷ để biến các so sánh theo cặp (A nhịp B) thành điểm số. Trong AI hiện đại, nó hỗ trợ các mô hình khen thưởng tìm hiểu sở thích của con người từ 'câu trả lời nào tốt hơn?' nhãn, xương sống của RLHF.
Mô hình Bradley-Terry chuyển đổi thành điểm số như thế nào?
Bradley-Terry thực hiện các so sánh theo cặp 'A đánh bại B' và suy ra điểm sức mạnh tiềm ẩn cho từng mục, đó là lý do tại sao nó rất phù hợp với việc dán nhãn sở thích của con người.
Trong Bradley-Terry, xác suất để A thắng B là hàm số của cái gì?
Mô hình đặt P(A thắng B) bằng logistic (sigmoid) của sự khác biệt giữa điểm sức mạnh tiềm ẩn của A và B.
Tại sao phần thưởng Bradley-Terry chỉ có thể được xác định bằng một hằng số cộng?
Việc mất huấn luyện chỉ sử dụng sự khác biệt giữa phần thưởng được chọn và bị từ chối, do đó, việc dịch chuyển tất cả các điểm theo cùng một hằng số sẽ khiến cho tổn thất không thay đổi; quy mô tuyệt đối là tùy ý.
Mức tổn thất tiêu chuẩn cho một so sánh ưu tiên duy nhất trong mô hình phần thưởng là bao nhiêu?
Khả năng ghi nhật ký âm của Bradley-Terry giảm xuống mức âm log-sigmoid của chênh lệch phần thưởng được chọn-trừ-bị từ chối, đẩy phần thưởng của phản hồi đã chọn lên cao hơn.
Phương pháp nào bỏ qua mô hình khen thưởng riêng bằng cách tối ưu hóa mục tiêu Bradley-Terry trực tiếp trên chính sách?
DPO định dạng lại mục tiêu ưu tiên Bradley-Terry để có thể áp dụng trực tiếp vào mô hình chính sách, loại bỏ nhu cầu đào tạo và truy vấn mô hình phần thưởng độc lập.
Tiếp tục học hỏi
Hướng dẫn liên quan
Đã chọn thêm hướng dẫn cho chủ đề này