แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

การทำให้เป็นมาตรฐานความยาวในแบบทดสอบการเพิ่มประสิทธิภาพการตั้งค่ากำหนด

ตรวจสอบว่าวัตถุประสงค์ในการปรับแต่งการกำหนดลักษณะจัดการกับระยะเวลาในการตอบสนองอย่างไร เหตุใด SimPO จึงทำให้คะแนนโทเค็นเป็นมาตรฐาน และวิธีประเมินคำตอบที่กระชับ

คำถาม 1 ของ 8

การทำให้ความยาวเป็นมาตรฐานใน DPO นั้นมีพฤติกรรมที่ไม่พึงประสงค์อะไรบ้างที่มีจุดมุ่งหมายเพื่อป้องกันเป็นหลัก

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. การทำให้ความยาวเป็นมาตรฐานใน DPO นั้นมีพฤติกรรมที่ไม่พึงประสงค์อะไรบ้างที่มีจุดมุ่งหมายเพื่อป้องกันเป็นหลัก
    • โมเดลที่ต้องการการตอบสนองนานขึ้นโดยไม่คำนึงถึงคุณภาพที่แท้จริง
    • นางแบบปฏิเสธที่จะตอบคำถาม
    • แบบจำลองข้อเท็จจริงที่หลอนประสาท
    • โมเดลตอบสนองช้าเกินไป
  2. เหตุใดรางวัลโดยนัยของ DPO มาตรฐานจึงมีแนวโน้มเพิ่มขึ้นตามระยะเวลาตอบกลับ
    • มันคูณรางวัลด้วยอุณหภูมิ
    • มันเป็นผลรวมของความแตกต่างความน่าจะเป็นของบันทึกต่อโทเค็น
    • ใช้โบนัสคงที่ต่อประโยค
    • เป็นการลงโทษคำตอบสั้น ๆ อย่างชัดเจน
  3. SimPO จัดการกับอคติด้านความยาวอย่างไร
    • มันเพิ่มน้ำหนักของรุ่นอ้างอิงเป็นสองเท่า
    • มันตัดทอนการตอบสนองทั้งหมดให้มีความยาวคงที่
    • โดยจะใช้ความน่าจะเป็นในการบันทึกต่อโทเค็นโดยเฉลี่ยเป็นรางวัล
    • มันจะลบข้อมูลการตั้งค่าทั้งหมด
  4. ความแตกต่างทางโครงสร้างที่โดดเด่นระหว่าง SimPO และ DPO มาตรฐานคือ SimPO:
    • ต้องใช้ข้อมูลการฝึกอบรมเป็นสองเท่า
    • ใช้งานได้กับรูปภาพเท่านั้น
    • ปิดใช้งานการไล่ระดับลง
    • ไม่ใช้โมเดลอ้างอิงแยกต่างหาก
  5. แนวทางปฏิบัติในการประเมินข้อใดที่ช่วยยืนยันว่าแบบจำลองมีการปรับปรุงคุณภาพมากกว่าแค่ความยาว
    • รายงานอัตราการชนะที่ควบคุมความยาว
    • การนับพารามิเตอร์ทั้งหมด
    • การวัดอุณหภูมิ GPU
    • การเพิ่มขนาดแบทช์
  6. Which chat-based benchmarks did the SimPO paper use in its reported evaluations?
    • ImageNet, COCO, and GLUE
    • AlpacaEval 2, MT-Bench, and Arena-Hard
    • LibriSpeech, WER, and BLEU
    • MMLU, GSM8K, and HumanEval only
  7. What does SimPO’s target reward margin encourage between a preferred and rejected response?
    • Identical scores for both responses
    • A longer preferred response regardless of quality
    • A larger score difference in favor of the preferred response
    • A new reference model for every token
  8. What risk can overly aggressive length normalization create?
    • It guarantees all answers have the same factual accuracy
    • It makes the reference model’s vocabulary larger
    • It prevents evaluators from comparing responses
    • It can favor answers that are too terse to include necessary detail