Bài kiểm tra có liên kết hướng dẫn · Trung bình Cấp độ

Câu đố tối ưu hóa ưu tiên tỷ lệ cược

Giải thích mục tiêu ưu tiên không có mô hình tham chiếu, hình phạt tỷ lệ chênh lệch và đào tạo kết hợp ưu tiên và giám sát của ORPO.

Đường dẫn hướng dẫn liên quanTối ưu hóa ưu tiên tỷ lệ cược
Câu hỏi 1 của 8

Ưu điểm thực tế chính của ORPO so với các phương pháp như DPO là gì?

Xem trước mọi câu hỏi8 câu hỏi

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

  1. Ưu điểm thực tế chính của ORPO so với các phương pháp như DPO là gì?
    • Nó loại bỏ sự cần thiết của một mô hình tham chiếu riêng biệt
    • Nó không yêu cầu dữ liệu đào tạo nào cả
    • Nó chỉ hoạt động trên các mô hình hình ảnh
    • Nó đảm bảo không có ảo giác
  2. 'Tỷ lệ cược' trong ORPO so sánh những gì?
    • Tốc độ đào tạo so với độ chính xác
    • Tỷ lệ của câu trả lời được chọn so với câu trả lời bị từ chối
    • Hai tốc độ học tập khác nhau
    • Kích thước mô hình so với kích thước tập dữ liệu
  3. What form does an ORPO preference example contain?
    • Only a single unlabeled response
    • A prompt with two identical completions
    • A prompt with one chosen response and one disfavored response
    • A reward score with no associated responses
  4. How does ORPO convert a response probability p into odds?
    • One minus p divided by p
    • The square root of p
    • The logarithm of the prompt length
    • p divided by one minus p
  5. Sự mất mát ORPO được mô tả tốt nhất là sự kết hợp nào?
    • Entropy chéo SFT cộng với thuật ngữ ưu tiên tỷ lệ chênh lệch có trọng số
    • Chỉ có điểm mô hình phần thưởng
    • Một sự trở lại học tập tăng cường thuần túy
    • Tiêm tiếng ồn ngẫu nhiên
  6. Which response receives the supervised fine-tuning component of ORPO?
    • Only the rejected response
    • The chosen or preferred response
    • A response sampled after deployment
    • No response; ORPO has no language-modeling term
  7. Which parameter controls the weight of ORPO’s preference term relative to the supervised loss?
    • Kích thước từ vựng của tokenizer
    • Số người đứng đầu chú ý
    • The preference-loss coefficient
    • The prompt’s character count
  8. Why should an ORPO result report its preference data and evaluation setup?
    • ORPO results are identical across datasets
    • The objective removes the need for evaluation
    • The number of model layers determines every preference
    • Outcomes depend on the dataset, coefficient, base model, and evaluation