Bài kiểm tra có liên kết hướng dẫn · Cứng Cấp độ

Chuẩn hóa phần thưởng được nhóm trong bài kiểm tra RLHF

Tìm hiểu cách GRPO so sánh các câu trả lời được lấy mẫu trong một nhóm nhắc nhở, xóa người phê bình và sử dụng mục tiêu kiểu PPO để cập nhật chính sách.

Đường dẫn hướng dẫn liên quanChuẩn hóa phần thưởng được nhóm trong Rlhf
Câu hỏi 1 của 8

Trong quá trình chuẩn hóa phần thưởng theo nhóm, phần thưởng của mỗi phản hồi được so sánh với bao nhiêu?

Xem trước mọi câu hỏi8 câu hỏi

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

  1. Trong quá trình chuẩn hóa phần thưởng theo nhóm, phần thưởng của mỗi phản hồi được so sánh với bao nhiêu?
    • Giá trị trung bình và độ lệch chuẩn của nhóm dấu nhắc của chính nó
    • Một hằng số toàn cầu cố định
    • Phần thưởng từ kỷ nguyên trước
    • Số tham số của mô hình
  2. Thuật toán nào có liên quan nhiều nhất đến việc chuẩn hóa phần thưởng được nhóm?
    • Giảm dần độ dốc ngẫu nhiên
    • GRPO (Tối ưu hóa chính sách tương đối của nhóm)
    • K-nghĩa là phân cụm
    • Lan truyền ngược
  3. GRPO loại bỏ thành phần nào của PPO tiêu chuẩn?
    • Mô hình khen thưởng
    • Mạng lưới thần kinh hoàn toàn
    • Mạng giá trị riêng biệt (phê bình)
    • Dữ liệu huấn luyện
  4. Điều gì xảy ra với một câu trả lời có phần thưởng thấp hơn mức trung bình của nhóm?
    • Nó nhận được lợi thế tích cực và được củng cố
    • Nó bị xóa khỏi tập dữ liệu
    • Phần thưởng của nó được nhân đôi
    • Nó nhận được lợi thế tiêu cực và không được khuyến khích
  5. What does within-prompt reward normalization provide to a GRPO update?
    • A relative, scaled advantage for each response compared with others for the same prompt
    • A guarantee that all prompt difficulty differences disappear
    • A higher learning rate
    • A way to make every response receive the same reward
  6. What happens when every response in a prompt group receives the same reward?
    • Every response gets a positive advantage
    • Centering gives no relative advantage; zero spread also requires numerical handling
    • The group mean doubles the reward
    • The model stops needing a policy objective
  7. Which PPO-style update element does GRPO retain?
    • A separately learned value network
    • K-means clustering over tokens
    • A clipped policy objective
    • A language-model tokenizer
  8. What can a KL penalty relative to a reference policy help constrain in GRPO?
    • The number of prompts in each group
    • The length of the tokenizer vocabulary
    • The resolution of generated images
    • How far the updated policy drifts from the reference policy