Học tăng cường từ bài kiểm tra phản hồi của con người

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

1. Mục đích chính của RLHF cho mô hình ngôn ngữ là gì?
   • Để điều chỉnh kết quả đầu ra của nó phù hợp với sở thích của con người về tính hữu ích và an toàn
   • Để tăng số lượng tham số của mô hình
   • Để nén mô hình để suy luận nhanh hơn
   • Để dịch mô hình sang các ngôn ngữ khác
2. Mô hình phần thưởng trong RLHF thực sự học để làm gì?
   • Tạo phản hồi cuối cùng cho người dùng
   • Dịch lời nhắc thành đơn vị tiền thưởng
   • Chỉ định một điểm vô hướng phản ánh mức độ con người thích một câu trả lời nhất định
   • Quyết định tốc độ học tập của mô hình
3. What does a KL-divergence penalty against a reference policy aim to regularize in an RLHF objective?
   • Every factual error with a complete correctness guarantee
   • How far the optimized policy departs from the reference
   • The tokenizer vocabulary’s spelling
   • The number of human annotators automatically
4. Dữ liệu ưu tiên thường được thu thập cho mô hình phần thưởng như thế nào?
   • Con người viết những câu trả lời hoàn toàn mới từ đầu
   • Mô hình đánh giá độ tin cậy của chính nó
   • Nhãn ngẫu nhiên được gán tự động
   • Con người so sánh hai câu trả lời mẫu cho cùng một lời nhắc và chọn câu trả lời tốt hơn
5. DPO (Tối ưu hóa tùy chọn trực tiếp) mang lại lợi thế gì so với quy trình RLHF cổ điển?
   • Nó không yêu cầu dữ liệu nào cả
   • Nó đảm bảo mô hình không bao giờ có thể sai
   • Nó tối ưu hóa chính sách trực tiếp từ các cặp ưu tiên, bỏ qua mô hình phần thưởng và vòng lặp PPO riêng biệt
   • Nó loại bỏ sự cần thiết phải đào tạo trước
6. Trong RLAIF và AI Hiến pháp, phần lớn phản hồi đến từ đâu?
   • Từ mô hình AI tạo ra hoặc phê bình các phản hồi, giảm bớt việc gắn nhãn của con người
   • Chỉ từ người chú thích được trả tiền của con người
   • Từ trình tạo số ngẫu nhiên
   • Trực tiếp từ kho dữ liệu huấn luyện trước của mô hình
7. An RLHF response receives a high learned reward but contains a false claim. What does this show?
   • High reward proves the claim is true
   • The response must have been generated without tokens
   • The reference model’s vocabulary disappeared
   • A preference-based reward is a proxy and can be mistaken
8. Why should an RLHF team examine whose preference comparisons were collected?
   • Annotator identity determines the GPU clock rate
   • The judgments and task distribution shape what the model is rewarded for
   • Every population has identical response preferences
   • Preference data affect only file compression