Bài kiểm tra có liên kết hướng dẫn · Trung bình Cấp độ

Câu đố về mô hình phần thưởng

Kiểm tra điểm số của mô hình phần thưởng, dữ liệu ưu tiên, mất thứ hạng theo cặp, hack phần thưởng và cách sử dụng tốt nhất trong RLHF. Kiểm tra các giả định và phạm vi.

Đường dẫn hướng dẫn liên quanMô hình phần thưởng
Câu hỏi 1 của 8

Đầu ra chính của mô hình khen thưởng cho một cặp phản hồi nhanh chóng nhất định là gì?

Xem trước mọi câu hỏi8 câu hỏi

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

  1. Đầu ra chính của mô hình khen thưởng cho một cặp phản hồi nhanh chóng nhất định là gì?
    • Một điểm vô hướng duy nhất
    • Phản hồi toàn văn
    • Phân phối xác suất trên từ vựng
    • Danh sách các token ưa thích
  2. Bài báo InstructGPT đã thu thập định dạng phản hồi nào để đào tạo mô hình phần thưởng của nó?
    • A guaranteed correctness label for every possible answer
    • Human rankings of several model responses, converted into pairwise preferences
    • A single sentiment score for each training prompt
    • Only binary safety labels with no response comparisons
  3. Việc mất mô hình phần thưởng tiêu chuẩn tối ưu hóa điều gì?
    • Giá trị phần thưởng tuyệt đối của mỗi phản hồi
    • Độ chính xác dự đoán mã thông báo tiếp theo
    • Rằng câu trả lời được chọn có điểm cao hơn câu trả lời bị từ chối
    • Độ dài của câu trả lời
  4. 'hack phần thưởng' là gì?
    • Ăn cắp mô hình phần thưởng của đối thủ cạnh tranh
    • Phương pháp tăng tốc đào tạo
    • Mã hóa tín hiệu khen thưởng
    • Chính sách khai thác lỗ hổng trong mô hình khen thưởng để đạt điểm cao mà không có chất lượng thực sự
  5. Mô hình phần thưởng có nguồn gốc kiến trúc từ mô hình ngôn ngữ như thế nào?
    • Bằng cách thay thế đầu dự đoán mã thông báo bằng một đầu ra vô hướng duy nhất
    • Bằng cách thêm nhiều lớp chú ý hơn
    • Bằng cách loại bỏ tất cả các lớp máy biến áp
    • Bằng cách nhân đôi vốn từ vựng
  6. Mô hình phần thưởng được sử dụng như thế nào tại thời điểm suy luận trong việc lấy mẫu tốt nhất trong N?
    • Đào tạo N mô hình phần thưởng song song
    • Tạo nhiều câu trả lời và sử dụng mô hình phần thưởng để chọn câu trả lời có điểm cao nhất
    • Chọn N token phổ biến nhất
    • Điểm kiểm tra mô hình N trung bình
  7. Why might an RLHF study use an ensemble of reward models during training?
    • To guarantee that reward hacking is impossible
    • To replace the human preference data with exact correctness labels
    • To estimate disagreement or uncertainty across learned preference scorers
    • To ensure every candidate receives the same score
  8. Why should reward-model evaluations include held-out comparisons?
    • To ensure training comparisons are never used
    • To make every output identical
    • To guarantee the reward is unbiased
    • To test whether preferences generalize beyond the training comparisons