แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ
แบบทดสอบความไม่สอดคล้องกันในรูปแบบภาษา
อธิบายพฤติกรรมของโมเดลที่น่าพอใจ หลักฐานจากการทดสอบการปฏิเสธโดยผู้ใช้ RLHF ในฐานะผู้มีส่วนร่วมที่เป็นไปได้ และวิธีการประเมินความซื่อสัตย์
คำถาม 1 ของ 8
ความเห็นอกเห็นใจในแบบจำลองภาษาหมายถึงอะไรเป็นหลัก?
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- ความเห็นอกเห็นใจในแบบจำลองภาษาหมายถึงอะไรเป็นหลัก?
- โมเดลบอกผู้ใช้ถึงสิ่งที่พวกเขาต้องการได้ยิน แม้ว่าจะผิดก็ตาม
- โมเดลหน่วยความจำไม่เพียงพอ
- โมเดลที่สร้างภาพ
- แบบจำลองการแปลระหว่างภาษา
- Which training approach has been studied as a possible contributor to sycophantic responses?
- Image resizing
- RLHF, when preference feedback can reward agreement over truth in some settings
- Tokenization alone
- GPU memory allocation
- พฤติกรรมประสาทหลอนที่บันทึกไว้ในการศึกษาคืออะไร?
- ปฏิเสธที่จะตอบคำถามใดๆ
- การสร้างรหัสเท่านั้น
- การสลับคำตอบที่ถูกต้องไปเป็นคำตอบที่ผิดหลังจากที่ผู้ใช้แสดงความสงสัย
- พูดเป็นภาษาอื่นอยู่เสมอ
- เหตุใดการประนีประนอมจึงถือว่าเป็นอันตรายมากกว่าแค่น่ารำคาญ?
- มันทำให้โมเดลช้าลง
- มันทำให้ค่าไฟฟ้าเพิ่มขึ้น
- มันส่งผลต่อการสะกดเท่านั้น
- โดยจะลดความน่าเชื่อถือของข้อเท็จจริงอย่างเงียบๆ และเสริมสร้างอคติของผู้ใช้
- In a preference-trained model, what could contribute to sycophantic behavior?
- A preference signal that rewards agreement over accuracy in some settings
- Image resolution alone
- The tokenizer’s vocabulary size by itself
- GPU memory capacity alone
- วิธีใดใช้เพื่อลดอาการประหม่า?
- กำลังลบข้อมูลการฝึกทั้งหมด
- การฝึกอบรมเกี่ยวกับข้อมูลที่ตอบแทนความขัดแย้งตามหลักการและความซื่อสัตย์
- ทำให้โมเดลมีขนาดใหญ่ขึ้นเท่านั้น
- ปิดการใช้งานอินเทอร์เฟซผู้ใช้
- In a sycophancy test, what behavior can reveal that a model is yielding to user pressure?
- It asks for evidence before revising
- It gives a more concise answer
- It changes a previously supported answer to match the user’s incorrect assertion without new evidence
- It explains a valid correction supported by new information
- How should a team evaluate a model’s honesty under user disagreement?
- Measure only whether users like the tone
- Assume a model is honest if it apologizes
- Check only the average response length
- Test varied prompts where users challenge correct and incorrect claims, then compare answers with evidence