Bài kiểm tra có liên kết hướng dẫn · Trung bình Cấp độ

Bài kiểm tra mô hình phần thưởng quy trình

Tính điểm cấp độ từng bước của mô hình thử nghiệm, nhãn tự động và con người, sắp xếp lại giải pháp, tìm kiếm dạng cây và bản địa hóa lỗi.

Đường dẫn hướng dẫn liên quanMô hình khen thưởng quy trình
Câu hỏi 1 của 8

Điều gì chủ yếu phân biệt mô hình khen thưởng quá trình với mô hình khen thưởng kết quả?

Xem trước mọi câu hỏi8 câu hỏi

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

  1. Điều gì chủ yếu phân biệt mô hình khen thưởng quá trình với mô hình khen thưởng kết quả?
    • Nó chấm điểm từng bước suy luận trung gian, không chỉ là câu trả lời cuối cùng
    • Nó chạy nhanh hơn tại thời điểm suy luận
    • Nó không yêu cầu dữ liệu đào tạo
    • Nó chỉ hoạt động trên đầu vào hình ảnh
  2. Tập dữ liệu nổi tiếng nào về nhãn toán học cấp độ con người có liên quan đến nghiên cứu PRM?
    • ImageNet
    • PRM800K
    • BIỆT ĐỘI
    • văn bản Wiki
  3. Tại sao tín hiệu khen thưởng chỉ mang tính kết quả lại có thể gây hiểu nhầm?
    • Câu trả lời cuối cùng không bao giờ đúng
    • Mô hình kết quả không thể đọc văn bản
    • Câu trả lời cuối cùng đúng có thể xuất phát từ lý luận thiếu sót hoặc câu trả lời sai từ lý luận gần như đúng
    • Nó luôn luôn phù hợp với ngữ pháp
  4. Một cách phổ biến để biến điểm theo từng bước thành điểm chuỗi duy nhất là:
    • Thêm một số ngẫu nhiên vào mỗi bước
    • Bỏ qua tất cả trừ bước đầu tiên
    • Chỉ sử dụng số lượng mã thông báo
    • Lấy xác suất bước tối thiểu trên toàn chuỗi
  5. Phương pháp Math-Shepherd sử dụng gì để tự động gắn nhãn các bước?
    • Triển khai Monte Carlo ước tính tần suất một bước dẫn đến câu trả lời đúng
    • Đánh giá thủ công của chuyên gia từng bước
    • Dịch các bước sang ngôn ngữ khác
    • Đếm dấu chấm câu
  6. Rủi ro nào đặc biệt có liên quan khi đào tạo các mô hình chống lại PRM?
    • Người mẫu quên cách đọc
    • Phần thưởng hack, trong đó các bước có vẻ phù hợp với PRM nhưng không thực sự chính xác
    • PRM không cần tính toán
    • Các bước trở nên không thể tạo ra
  7. How can a process reward model guide a tree search over reasoning?
    • Expand every branch equally without scoring
    • Choose branches by their final token length
    • Prioritize expanding partial solutions whose intermediate steps receive stronger scores
    • Replace all branches with one randomly selected answer
  8. What does the PRM800K dataset contain?
    • Only final answer labels for image captions
    • Audio recordings of spoken explanations
    • A corpus of code commits with no reasoning labels
    • Human labels for intermediate steps in mathematical reasoning solutions