Tối ưu hóa tùy chọn trực tiếp
Tối ưu hóa tùy chọn trực tiếp (DPO) là một cách để điều chỉnh các mô hình ngôn ngữ phù hợp với sở thích của con người mà không cần đào tạo mô hình phần thưởng riêng biệt hoặc chạy học tăng cường.
Tổng quan
Nó thu gọn một đường ống nhiều giai đoạn phức tạp thành một quá trình huấn luyện ổn định duy nhất.
Lặn sâu
DPO, được Rafailov và các đồng nghiệp tại Stanford giới thiệu vào năm 2023, đã suy nghĩ lại cách chúng tôi dạy một mô hình những gì mọi người thích. Cách tiếp cận truyền thống (RLHF) đào tạo mô hình khen thưởng dựa trên sự so sánh giữa con người với nhau, sau đó sử dụng phương pháp học tăng cường để tối đa hóa phần thưởng đó. Thông tin chuyên sâu quan trọng của DPO là toán học: chính sách tối ưu theo mục tiêu RLHF đó có mối quan hệ dạng đóng với phần thưởng, do đó bạn có thể sắp xếp lại các phương trình và tối ưu hóa mô hình ngôn ngữ trực tiếp trên các cặp ưu tiên. Bạn đưa ra lời nhắc, phản hồi 'được chọn' (ưu tiên) và phản hồi 'bị từ chối', và một sự mất mát kiểu phân loại đơn giản sẽ thúc đẩy mô hình đưa ra câu trả lời đã chọn tương đối có nhiều khả năng xảy ra hơn. Không có mô hình phần thưởng, không có vòng lấy mẫu, không có hack phần thưởng. Nó đơn giản hơn và ổn định hơn nhiều để chạy.
Hiểu biết kỹ thuật
DPO sử dụng tổn thất entropy chéo nhị phân trên các cặp ưu tiên. Nó làm tăng tỷ lệ xác suất log của phản hồi đã chọn so với phản hồi bị từ chối, mỗi phản hồi được đo dựa trên mô hình tham chiếu cố định (thường là điểm bắt đầu được tinh chỉnh có giám sát). Thông số nhiệt độ beta kiểm soát khoảng cách mà chính sách có thể lệch khỏi tham chiếu đó, ngầm thực thi ràng buộc KL mà RLHF áp dụng một cách rõ ràng. Phần thưởng không bao giờ thành hiện thực; nó tiềm ẩn trong xác suất nhật ký của chính sách.
Tác động chiến lược
Tốc độ và tỷ lệ
Quy trình công việc ngôn ngữ có thể di chuyển nhanh hơn mà không làm mất tính nhất quán.
Truy cập và tiếp cận
Nó mở rộng quyền truy cập vào các ngôn ngữ và phong cách giao tiếp.
Quyết định rõ ràng hơn
Các nhóm có thể dành nhiều thời gian hơn để đánh giá trong khi quá trình tự động hóa xử lý sự lặp lại.
Tương lai của việc tối ưu hóa tùy chọn trực tiếp
DPO đã trở thành một phương pháp căn chỉnh mặc định vì nó rẻ và có thể tái tạo, đồng thời nó tạo ra một nhóm biến thể: IPO sửa lỗi trang bị quá mức theo các ưu tiên gần như xác định, KTO học từ các nhãn tốt hoặc xấu đơn lẻ thay vì các cặp và ORPO biến việc học ưu tiên thành tinh chỉnh mà không có mô hình tham chiếu. Mong đợi công việc tiếp tục kết hợp DPO với dữ liệu chính sách và giảm độ lệch về độ dài/chất lượng, thu hẹp khoảng cách còn lại với RLHF trực tuyến đầy đủ.
Triển khai trong thế giới thực
Tinh chỉnh các mô hình trò chuyện có trọng lượng mở như Zephyr và nhiều công cụ phái sinh Llama và Mistral, được liên kết với DPO trên bộ dữ liệu ưu tiên
Giảm kết quả đầu ra có hại hoặc không hữu ích bằng cách sử dụng các cặp trong đó câu trả lời an toàn, hữu ích được 'chọn' thay vì câu trả lời có vấn đề
Hướng dẫn trợ lý mã hóa ưu tiên các giải pháp chính xác, được ghi chép đầy đủ hơn các giải pháp có lỗi bằng cách sử dụng các so sánh do nhà phát triển đánh giá
Điều chỉnh phong cách tóm tắt để các mô hình ưu tiên những bản tóm tắt ngắn gọn, trung thực hơn những bản tóm tắt dài dòng hoặc ảo giác
Rủi ro & lan can
Sự thật ảo giác có thể lặng lẽ đi vào báo cáo, luồng hỗ trợ hoặc kết quả nghiên cứu.
Sự nhạy cảm kịp thời có thể tạo ra kết quả không nhất quán đối với các yêu cầu tương tự.
Dữ liệu văn bản nhạy cảm có thể bị lộ nếu khả năng kiểm soát quyền truy cập yếu.
Lộ trình thực hiện
Xác định định dạng đầu ra, âm thanh và tiêu chuẩn chất lượng trước khi triển khai.
Phản hồi mặt đất với các nguồn đáng tin cậy bất cứ khi nào độ chính xác quan trọng.
Duy trì điểm kiểm tra đánh giá của con người đối với các kết quả đầu ra có mức độ rủi ro cao.
Theo dõi các kiểu lỗi và đào tạo lại các lời nhắc hoặc quy trình làm việc thường xuyên.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Direct Preference Optimization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Tối ưu hóa ưu tiên tỷ lệ cược
Câu hỏi thường gặp
Tối ưu hóa tùy chọn trực tiếp là gì?
Tối ưu hóa tùy chọn trực tiếp (DPO) là một cách để điều chỉnh các mô hình ngôn ngữ phù hợp với sở thích của con người mà không cần đào tạo mô hình phần thưởng riêng biệt hoặc chạy học tăng cường. Nó thu gọn một đường ống nhiều giai đoạn phức tạp thành một quá trình huấn luyện ổn định duy nhất.
DPO loại bỏ những gì so với RLHF truyền thống?
Ưu điểm chính của DPO là loại bỏ mô hình phần thưởng rõ ràng và vòng lấy mẫu RL, thay vào đó tối ưu hóa chính sách trực tiếp trên các cặp ưu tiên.
Một ví dụ đào tạo DPO bao gồm dữ liệu gì?
DPO đào tạo theo các cặp ưu tiên: một lời nhắc cộng với một phản hồi ưu tiên ('được chọn') và một phản hồi không được ưa thích ('bị từ chối').
Mô hình tham chiếu đóng vai trò gì trong DPO?
Một tham chiếu cố định (thường là mô hình SFT) sẽ neo giữ khoản lỗ; tham số beta kiểm soát chính sách được đào tạo có thể di chuyển bao xa.
Trong DPO, 'phần thưởng' được thể hiện ở đâu?
Đạo hàm của DPO cho thấy phần thưởng được ẩn trong tỷ lệ xác suất nhật ký giữa chính sách và tham chiếu, do đó không cần mô hình phần thưởng rõ ràng.
Thông số beta (nhiệt độ) trong DPO kiểm soát những gì?
Beta chi phối ràng buộc KL tiềm ẩn: beta cao hơn giữ chính sách gần với tham chiếu hơn, beta thấp hơn cho phép nhiều sai lệch hơn.