Bài kiểm tra tối ưu hóa chính sách gần nhất

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

1. Việc 'cắt' của PPO chủ yếu giải quyết vấn đề gì?
   • Cập nhật chính sách quá lớn gây bất ổn cho đào tạo
   • Tải dữ liệu chậm
   • Giới hạn kích thước từ vựng
   • Sử dụng bộ nhớ trong quá trình suy luận
2. Trong mô hình ngôn ngữ RLHF với PPO, tín hiệu khen thưởng thường đến từ đâu?
   • Tính điểm trực tiếp của con người đối với mọi mã thông báo
   • Một mô hình khen thưởng được đào tạo
   • Tốc độ học tập của trình tối ưu hóa
   • Kích thước của từ vựng
3. Hình phạt phân kỳ KL có tác dụng gì trong RLHF dựa trên PPO?
   • Tăng tốc độ tạo mã thông báo
   • Tăng độ chính xác của mô hình phần thưởng
   • Giữ cho mô hình đã tinh chỉnh không bị trôi quá xa so với mô hình tham chiếu
   • Loại bỏ sự cần thiết của mạng lưới giá trị
4. Vai trò của mạng giá trị (phê bình) trong PPO là gì?
   • Để tạo đầu ra văn bản cuối cùng
   • Để lưu trữ dữ liệu đào tạo
   • Để thay thế hoàn toàn mô hình phần thưởng
   • Để ước tính lợi nhuận kỳ vọng để có thể tính toán lợi thế
5. 'Lợi thế' thể hiện điều gì trong PPO?
   • Một hành động tốt hơn bao nhiêu so với mức cơ bản dự kiến
   • Tổng số tham số của mô hình
   • Phạm vi cắt
   • Hệ số phạt KL
6. What distinguishes GRPO from PPO in the DeepSeekMath paper?
   • It removes all policy sampling and optimizes only supervised labels
   • It estimates relative advantages from groups of sampled responses without a separate value critic
   • It uses a trained reward model as a value network
   • It guarantees zero policy drift after one update
7. What probability ratio does PPO clip in its surrogate objective?
   • The reward divided by the number of prompts
   • The value estimate divided by the KL coefficient
   • The new policy’s action probability divided by the old policy’s action probability
   • The sequence length divided by batch size
8. Why is PPO called an on-policy method in its standard form?
   • It trains only on a static image dataset
   • It never samples actions
   • It updates only a reward model
   • It collects trajectories using the current policy being optimized