DPO lặp lại và bài kiểm tra điều chỉnh sở thích trực tuyến

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

1. DPO tránh yêu cầu RLHF (PPO) truyền thống đó là gì?
   • Đào tạo một mô hình khen thưởng rõ ràng riêng biệt
   • Bất kỳ dữ liệu đào tạo
   • Sử dụng mạng lưới thần kinh
   • Sở thích của con người hoàn toàn
2. Tại sao DPO lặp lại (trực tuyến) thường tốt hơn chạy DPO một lần trên tập dữ liệu cố định?
   • Nó không cần nhãn ưu tiên
   • Nó giữ cho dữ liệu đào tạo theo chính sách và luôn mới khi mô hình thay đổi
   • Nó loại bỏ mô hình tham chiếu
   • Nó chỉ hoạt động cho hình ảnh
3. Mô hình tham chiếu đóng vai trò gì trong việc mất DPO?
   • Nó tạo ra đầu ra của người dùng cuối cùng
   • Nó gắn nhãn các tùy chọn
   • Nó neo chính sách thông qua tỷ lệ xác suất log, kiểm soát độ lệch
   • Nó thay thế tokenizer
4. Trong một lần lặp lại của DPO trực tuyến, trình tự điển hình là gì?
   • Xóa mô hình, sau đó đào tạo lại từ đầu
   • Chỉ dán nhãn lại dữ liệu cũ mà không lấy mẫu
   • Đào tạo CNN về các câu trả lời
   • Lấy mẫu phản hồi mới, đánh giá tùy chọn, sau đó chạy bản cập nhật DPO
5. Siêu tham số beta trong DPO kiểm soát điều gì?
   • Chính sách khác biệt mạnh mẽ như thế nào so với mô hình tham chiếu
   • Kích thước từ vựng
   • Số lượng GPU
   • Độ phân giải hình ảnh
6. Ý tưởng chính đằng sau DPO lặp đi lặp lại 'tự thưởng' là gì?
   • Mô hình không sử dụng tùy chọn nào
   • Mô hình tạo và đánh giá các cặp phản hồi của chính nó để tạo dữ liệu huấn luyện
   • Con người phải dán nhãn cho từng cặp
   • Nó chỉ sử dụng phần thưởng ngẫu nhiên
7. Who can label response preferences in an online DPO iteration?
   • Only the tokenizer
   • Only the reference policy’s embedding layer
   • Human raters or an AI judge such as a reward model
   • A discriminator that never sees responses
8. What additional work does iterative DPO require compared with using a fixed preference dataset once?
   • Training no model parameters
   • Removing all evaluation from the pipeline
   • Storing every possible response in advance
   • Repeated response generation and preference labeling between updates