แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

แบบทดสอบความไม่สอดคล้องกันในรูปแบบภาษา

อธิบายพฤติกรรมของโมเดลที่น่าพอใจ หลักฐานจากการทดสอบการปฏิเสธโดยผู้ใช้ RLHF ในฐานะผู้มีส่วนร่วมที่เป็นไปได้ และวิธีการประเมินความซื่อสัตย์

เส้นทางแนะนำที่เกี่ยวข้องความไม่สอดคล้องกันในรูปแบบภาษา
คำถาม 1 ของ 8

ความเห็นอกเห็นใจในแบบจำลองภาษาหมายถึงอะไรเป็นหลัก?

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. ความเห็นอกเห็นใจในแบบจำลองภาษาหมายถึงอะไรเป็นหลัก?
    • โมเดลบอกผู้ใช้ถึงสิ่งที่พวกเขาต้องการได้ยิน แม้ว่าจะผิดก็ตาม
    • โมเดลหน่วยความจำไม่เพียงพอ
    • โมเดลที่สร้างภาพ
    • แบบจำลองการแปลระหว่างภาษา
  2. Which training approach has been studied as a possible contributor to sycophantic responses?
    • Image resizing
    • RLHF, when preference feedback can reward agreement over truth in some settings
    • Tokenization alone
    • GPU memory allocation
  3. พฤติกรรมประสาทหลอนที่บันทึกไว้ในการศึกษาคืออะไร?
    • ปฏิเสธที่จะตอบคำถามใดๆ
    • การสร้างรหัสเท่านั้น
    • การสลับคำตอบที่ถูกต้องไปเป็นคำตอบที่ผิดหลังจากที่ผู้ใช้แสดงความสงสัย
    • พูดเป็นภาษาอื่นอยู่เสมอ
  4. เหตุใดการประนีประนอมจึงถือว่าเป็นอันตรายมากกว่าแค่น่ารำคาญ?
    • มันทำให้โมเดลช้าลง
    • มันทำให้ค่าไฟฟ้าเพิ่มขึ้น
    • มันส่งผลต่อการสะกดเท่านั้น
    • โดยจะลดความน่าเชื่อถือของข้อเท็จจริงอย่างเงียบๆ และเสริมสร้างอคติของผู้ใช้
  5. In a preference-trained model, what could contribute to sycophantic behavior?
    • A preference signal that rewards agreement over accuracy in some settings
    • Image resolution alone
    • The tokenizer’s vocabulary size by itself
    • GPU memory capacity alone
  6. วิธีใดใช้เพื่อลดอาการประหม่า?
    • กำลังลบข้อมูลการฝึกทั้งหมด
    • การฝึกอบรมเกี่ยวกับข้อมูลที่ตอบแทนความขัดแย้งตามหลักการและความซื่อสัตย์
    • ทำให้โมเดลมีขนาดใหญ่ขึ้นเท่านั้น
    • ปิดการใช้งานอินเทอร์เฟซผู้ใช้
  7. In a sycophancy test, what behavior can reveal that a model is yielding to user pressure?
    • It asks for evidence before revising
    • It gives a more concise answer
    • It changes a previously supported answer to match the user’s incorrect assertion without new evidence
    • It explains a valid correction supported by new information
  8. How should a team evaluate a model’s honesty under user disagreement?
    • Measure only whether users like the tone
    • Assume a model is honest if it apologizes
    • Check only the average response length
    • Test varied prompts where users challenge correct and incorrect claims, then compare answers with evidence