Tối ưu hóa ưu tiên tỷ lệ cược
Tối ưu hóa ưu tiên tỷ lệ chênh lệch (ORPO) là một phương pháp tinh chỉnh giúp dạy mô hình ngôn ngữ hành vi tốt và sở thích của con người trong một lần đào tạo duy nhất.
Tổng quan
It matters because it skips the usual separate reward model and reference model, making alignment cheaper and simpler.
Lặn sâu
ORPO, được Hong, Lee và Thorne giới thiệu vào năm 2024, kết hợp việc tinh chỉnh có giám sát và căn chỉnh tùy chọn thành một bước. Hầu hết các quy trình căn chỉnh trước tiên thực hiện SFT trên các mẫu tốt, sau đó chạy phương pháp thứ hai như RLHF hoặc DPO yêu cầu bản sao cố định của mô hình (tài liệu tham khảo) cùng với các cặp tùy chọn được lưu trữ. ORPO loại bỏ hoàn toàn mô hình tham chiếu. Sự mất mát của nó bổ sung một điều khoản phạt vào mục tiêu mã thông báo tiếp theo tiêu chuẩn: nó làm tăng tỷ lệ cược mà mô hình chỉ định cho phản hồi đã chọn (ưu tiên) trong khi giảm tỷ lệ cược của phản hồi bị từ chối. Bởi vì nó sử dụng tỷ lệ chênh lệch thay vì khoảng cách log-xác suất mạnh nên hình phạt rất nhẹ, do đó mô hình học cách ưu tiên những câu trả lời hay mà không quên mất khả năng tạo thông thạo một cách thảm khốc.
Hiểu biết kỹ thuật
Tổn thất của ORPO là tổn thất entropy chéo SFT cộng với log-sigmoid có trọng số của tỷ lệ chênh lệch log giữa các phản hồi được chọn và bị từ chối. Tỷ lệ bằng p/(1-p), do đó, tỷ lệ này so sánh khả năng mô hình tìm thấy câu trả lời tốt so với câu trả lời xấu. Việc sử dụng tỷ lệ cược thay vì xác suất thô sẽ giữ độ tương phản ở mức vừa phải, điều này ngăn cản việc ngăn chặn quá mức các mã thông báo bị từ chối có thể làm suy giảm mô hình không được tham chiếu.
Tác động chiến lược
Tốc độ và tỷ lệ
Quy trình công việc ngôn ngữ có thể di chuyển nhanh hơn mà không làm mất tính nhất quán.
Truy cập và tiếp cận
Nó mở rộng quyền truy cập vào các ngôn ngữ và phong cách giao tiếp.
Quyết định rõ ràng hơn
Các nhóm có thể dành nhiều thời gian hơn để đánh giá trong khi quá trình tự động hóa xử lý sự lặp lại.
Tương lai của việc tối ưu hóa ưu tiên tỷ lệ cược
ORPO đang thu hút được sự chú ý vì nó cắt giảm bộ nhớ và tính toán bằng cách loại bỏ mô hình tham chiếu, điều này rất hấp dẫn đối với các nhóm tinh chỉnh trên phần cứng hạn chế. Hy vọng nó sẽ xuất hiện thường xuyên hơn trong các công thức nấu ăn nguồn mở và là tùy chọn mặc định trong các thư viện như Ôm mặt TRL. Công việc trong tương lai có thể sẽ tự động điều chỉnh trọng số lambda, kết hợp ORPO với các mục tiêu không có tham chiếu khác và mở rộng nó sang các mô hình đa phương thức và rất lớn trong đó việc lưu giữ hai bản sao trong bộ nhớ sẽ rất tốn kém.
Triển khai trong thế giới thực
Tinh chỉnh mô hình trò chuyện 7B nguồn mở trên các cặp tùy chọn mà không cần tải bản sao tham chiếu thứ hai, giảm một nửa bộ nhớ GPU
Một công ty khởi nghiệp sắp xếp trợ lý hỗ trợ khách hàng để ưu tiên các câu trả lời lịch sự, đúng chính sách trong một lần đào tạo thay vì SFT-then-DPO
Các nhà nghiên cứu so sánh ORPO với DPO trên cùng một tập dữ liệu để cho thấy sự liên kết tương đương với khả năng tính toán thấp hơn
Điều chỉnh mô hình cơ sở cho phù hợp với một lĩnh vực chuyên biệt (ví dụ: soạn thảo pháp luật) trong đó có sẵn các cặp ví dụ tốt và xấu nhưng ngân sách cho mô hình khen thưởng thì không
Rủi ro & lan can
Sự thật ảo giác có thể lặng lẽ đi vào báo cáo, luồng hỗ trợ hoặc kết quả nghiên cứu.
Sự nhạy cảm kịp thời có thể tạo ra kết quả không nhất quán đối với các yêu cầu tương tự.
Dữ liệu văn bản nhạy cảm có thể bị lộ nếu khả năng kiểm soát quyền truy cập yếu.
Lộ trình thực hiện
Xác định định dạng đầu ra, âm thanh và tiêu chuẩn chất lượng trước khi triển khai.
Phản hồi mặt đất với các nguồn đáng tin cậy bất cứ khi nào độ chính xác quan trọng.
Duy trì điểm kiểm tra đánh giá của con người đối với các kết quả đầu ra có mức độ rủi ro cao.
Theo dõi các kiểu lỗi và đào tạo lại các lời nhắc hoặc quy trình làm việc thường xuyên.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Odds Ratio Preference Optimization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Tối ưu hóa tùy chọn trực tiếp
Câu hỏi thường gặp
What is Odds Ratio Preference Optimization?
Tối ưu hóa ưu tiên tỷ lệ chênh lệch (ORPO) là một phương pháp tinh chỉnh giúp dạy mô hình ngôn ngữ hành vi tốt và sở thích của con người trong một lần đào tạo duy nhất. Điều này quan trọng vì nó bỏ qua mô hình phần thưởng và mô hình tham chiếu riêng biệt thông thường, khiến việc liên kết trở nên rẻ hơn và đơn giản hơn.
Ưu điểm thực tế chính của ORPO so với các phương pháp như DPO là gì?
ORPO gộp việc học ưu tiên vào phần mất SFT và không cần bản sao tham chiếu cố định của mô hình, tiết kiệm bộ nhớ và tính toán.
'Tỷ lệ cược' trong ORPO so sánh những gì?
ORPO sử dụng tỷ lệ chênh lệch (p/(1-p)) mà mô hình gán cho câu trả lời được ưu tiên so với câu trả lời không được ưa thích.
ORPO thực hiện hai nhiệm vụ nào trong một lần đào tạo?
ORPO kết hợp mục tiêu mã thông báo tiếp theo SFT tiêu chuẩn với hình phạt ưu tiên trong một lần thua thống nhất.
Tại sao ORPO sử dụng tỷ lệ cược thay vì chênh lệch xác suất nhật ký thô cho hình phạt?
Hình phạt dựa trên tỷ lệ cược nhẹ hơn, giúp mô hình không được tham chiếu duy trì khả năng tạo thông thạo trong khi vẫn ưu tiên các câu trả lời hay.
Sự mất mát ORPO được mô tả tốt nhất là sự kết hợp nào?
ORPO bổ sung một thuật ngữ tỷ lệ chênh lệch log-sigmoid có trọng số bên trên tổn thất entropy chéo được giám sát.