Bài kiểm tra có liên kết hướng dẫn · Trung bình Cấp độ

Chuẩn hóa độ dài trong bài kiểm tra tối ưu hóa tùy chọn

Kiểm tra cách các mục tiêu điều chỉnh tùy chọn xử lý độ dài phản hồi, lý do SimPO bình thường hóa điểm số mã thông báo và cách đánh giá các câu trả lời ngắn gọn.

Đường dẫn hướng dẫn liên quanChuẩn hóa độ dài trong tối ưu hóa ưu tiên
Câu hỏi 1 của 8

Việc chuẩn hóa độ dài trong DPO chủ yếu nhằm mục đích ngăn chặn hành vi không mong muốn nào?

Xem trước mọi câu hỏi8 câu hỏi

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

  1. Việc chuẩn hóa độ dài trong DPO chủ yếu nhằm mục đích ngăn chặn hành vi không mong muốn nào?
    • Các mô hình thiên về phản hồi dài hơn bất kể chất lượng thực tế
    • Người mẫu từ chối trả lời câu hỏi
    • Mô hình sự thật gây ảo giác
    • Người mẫu phản hồi quá chậm
  2. Tại sao phần thưởng tiềm ẩn của DPO tiêu chuẩn có xu hướng tăng theo thời lượng phản hồi?
    • Nó nhân phần thưởng theo nhiệt độ
    • Đó là tổng số khác biệt về xác suất nhật ký của mỗi mã thông báo
    • Nó sử dụng phần thưởng cố định cho mỗi câu
    • Nó phạt những câu trả lời ngắn một cách rõ ràng
  3. SimPO giải quyết vấn đề sai lệch về độ dài như thế nào?
    • Nó tăng gấp đôi trọng lượng của mô hình tham chiếu
    • Nó cắt bớt tất cả các phản hồi theo một độ dài cố định
    • Nó sử dụng xác suất ghi nhật ký trung bình trên mỗi mã thông báo làm phần thưởng
    • Nó loại bỏ hoàn toàn dữ liệu ưu tiên
  4. Sự khác biệt về cấu trúc đáng chú ý giữa SimPO và DPO tiêu chuẩn là SimPO:
    • Yêu cầu gấp đôi dữ liệu đào tạo
    • Chỉ hoạt động trên hình ảnh
    • Tắt tính năng giảm độ dốc
    • Không sử dụng mô hình tham chiếu riêng
  5. Thực tiễn đánh giá nào giúp xác nhận một mô hình được cải thiện về chất lượng thay vì chỉ về độ dài?
    • Báo cáo tỷ lệ thắng được kiểm soát theo độ dài
    • Đếm tổng thông số
    • Đo nhiệt độ GPU
    • Tăng kích thước lô
  6. Which chat-based benchmarks did the SimPO paper use in its reported evaluations?
    • ImageNet, COCO, and GLUE
    • AlpacaEval 2, MT-Bench, and Arena-Hard
    • LibriSpeech, WER, and BLEU
    • MMLU, GSM8K, and HumanEval only
  7. What does SimPO’s target reward margin encourage between a preferred and rejected response?
    • Identical scores for both responses
    • A longer preferred response regardless of quality
    • A larger score difference in favor of the preferred response
    • A new reference model for every token
  8. What risk can overly aggressive length normalization create?
    • It guarantees all answers have the same factual accuracy
    • It makes the reference model’s vocabulary larger
    • It prevents evaluators from comparing responses
    • It can favor answers that are too terse to include necessary detail