Tiếp theoHướng dẫn tiếp theo
Học tăng cường cho giao dịch
kỹ thuật
HƯỚNG DẪN KỸ THUẬT
Học tăng cường từ phản hồi của con người
Reinforcement learning from human feedback uses human judgments to construct a training signal for a model’s behavior.
Nghe hướng dẫn nàyAI thuật lại · ~2 min
Trên trang nàyĐọc trong 2 phút
Tổng quan
It can improve agreement with collected preferences, but does not guarantee truthful, safe, or universally preferred answers.
Lặn sâu
A pretrained language model predicts plausible text, but plausible is not the same as helpful, honest, or safe. A common RLHF pipeline addresses these goals in stages. First, supervised fine-tuning teaches the model to follow instructions using human-written example answers. Next, humans compare pairs of model responses to the same prompt and pick the better one; these comparisons train a separate reward model that scores any response. Finally, the language model is optimized with reinforcement learning to produce responses the reward model rates highly. A penalty regularizes deviation from a reference policy; it does not eliminate exploitation of reward-model errors. RLHF was central to making ChatGPT-style assistants usable.
Triển khai trong thế giới thực
Điều chỉnh trợ lý trò chuyện để nó từ chối các yêu cầu có hại và đưa ra các câu trả lời hữu ích, có cấu trúc tốt thay vì chỉ là văn bản hợp lý.
Xếp hạng các cặp tóm tắt theo sở thích của con người để đào tạo một mô hình viết các bản tóm tắt mà mọi người thực sự thấy hữu ích.
Giảm kết quả đầu ra độc hại hoặc thiên vị bằng cách khen thưởng những phản hồi mà người đánh giá đánh giá là tôn trọng và an toàn.
Sử dụng DPO trên tập dữ liệu gồm các câu trả lời ưu tiên và bị từ chối để căn chỉnh mô hình nguồn mở mà không cần chạy vòng lặp PPO đầy đủ.
Tương lai của việc học tăng cường từ phản hồi của con người
RLHF đang được sắp xếp hợp lý và tự động hóa một phần. DPO và các phương pháp ưu tiên trực tiếp có liên quan đang thay thế quy trình PPO nặng nề cho nhiều nhóm và RLAIF sử dụng phản hồi do AI tạo ra (như trong AI Hiến pháp) để cắt giảm chi phí ghi nhãn. Nghiên cứu đang giải quyết vấn đề hack phần thưởng, thành kiến của người chú thích và khó khăn trong việc đánh giá các câu trả lời dài hoặc của chuyên gia bằng các kỹ thuật như giám sát quy trình và tranh luận. Mong đợi sự liên kết để kết hợp phản hồi của con người và AI, tín hiệu phần thưởng phong phú hơn ngoài một lượt thích và sự giám sát ngày càng tăng về người cung cấp các tùy chọn và giá trị nào họ mã hóa.
Đưa nó vào thực tế
Tại sao nó quan trọng
- Chi phí và ngân sách. Các quyết định về kiến trúc sẽ thúc đẩy hiệu suất và chi phí vận hành trong nhiều năm.
- Quyết định rõ ràng hơn. Giáo dục kỹ thuật giúp các nhóm chọn nhóm phù hợp chứ không chỉ nhóm mới nhất.
- Kiểm soát chất lượng. Lựa chọn kỹ thuật tốt hơn làm giảm sự cố về độ tin cậy trong sản xuất.
coi chừng
- Tối ưu hóa một điểm chuẩn có thể che giấu những điểm yếu của hệ thống rộng hơn.
- Chi phí cơ sở hạ tầng và bảo trì thường được đánh giá thấp.
- Khoảng cách về bảo mật và khả năng quan sát có thể tăng lên khi hệ thống trở nên phức tạp hơn.
Các bước tiếp theo
- Xác định các mục tiêu về độ trễ, chất lượng và chi phí trước khi triển khai.
- Điểm chuẩn trong điều kiện tải và dữ liệu thực tế.
- Giám sát thiết bị về lỗi, độ lệch và tác động của người dùng.
- Chuẩn bị đường dẫn khôi phục và ứng phó sự cố trước khi mở rộng quy mô.
Tiếp tục khám phá
Bản tin miễn phí
Nhận bản tóm tắt AI hàng ngày
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Take the Reinforcement Learning From Human Feedback quiz
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Câu hỏi thường gặp
What is Reinforcement Learning From Human Feedback?
Reinforcement learning from human feedback uses human judgments to construct a training signal for a model’s behavior. It can improve agreement with collected preferences, but does not guarantee truthful, safe, or universally preferred answers.
Mục đích chính của RLHF cho mô hình ngôn ngữ là gì?
RLHF hướng mô hình theo hướng phản hồi mà con người mong muốn, làm cho mô hình trở nên hữu ích, trung thực và an toàn hơn thay vì chỉ hợp lý.
Mô hình phần thưởng trong RLHF thực sự học để làm gì?
Mô hình khen thưởng được huấn luyện dựa trên sự so sánh sở thích của con người để ghi điểm phản hồi, cung cấp tín hiệu mà chính sách tối ưu hóa.
What does a KL-divergence penalty against a reference policy aim to regularize in an RLHF objective?
The penalty discourages large policy shifts. It is not proof that the reward model cannot be exploited or that generated answers are correct.
Dữ liệu ưu tiên thường được thu thập cho mô hình phần thưởng như thế nào?
Người chú thích chọn phản hồi ưa thích trong so sánh theo cặp, huấn luyện mô hình phần thưởng thông qua kiểu mất mát kiểu Bradley-Terry.
DPO (Tối ưu hóa tùy chọn trực tiếp) mang lại lợi thế gì so với quy trình RLHF cổ điển?
DPO lấy mục tiêu trực tiếp từ sở thích, tránh mô hình khen thưởng riêng biệt và bước học tập củng cố cầu kỳ.
Tiếp tục học hỏi
Hướng dẫn liên quan
Đã chọn thêm hướng dẫn cho chủ đề này