แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ
แบบทดสอบการจัดตำแหน่ง AI
ทดสอบการแฮ็กรางวัล, การจำกัด RLHF, การเล่นเกมตามข้อกำหนด, การรับรู้ในการประเมิน และวิธีที่การควบคุมดูแลที่ปรับขนาดได้จะช่วยในงานที่ตรวจสอบยากได้อย่างไร
คำถาม 1 ของ 8
ในการวิจัยการจัดตำแหน่ง คำว่า "การแฮ็กรางวัล" อธิบายถึงอะไร
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- ในการวิจัยการจัดตำแหน่ง คำว่า "การแฮ็กรางวัล" อธิบายถึงอะไร
- โมเดลปฏิเสธที่จะปรับรางวัลให้เหมาะสมเพราะงานดูเหมือนเป็นอันตราย
- ตัวแทนใช้ประโยชน์จากข้อบกพร่องในสัญญาณรางวัลแทนที่จะทำงานตามที่ตั้งใจไว้
- ผู้โจมตีขโมยน้ำหนักของโมเดลรางวัลเพื่อฝึกระบบการแข่งขันใหม่
- นักพัฒนาจะเพิ่มมูลค่ารางวัลด้วยตนเองเพื่อเร่งการบรรจบกันระหว่างการฝึกอบรม
- ใน RLHF บทบาทของโมเดลการให้รางวัลคืออะไร?
- โดยจะแทนที่ผู้ประเมินที่เป็นมนุษย์ทั้งหมดด้วยการเขียนคำตอบอ้างอิงเพื่อการปรับแต่งอย่างละเอียด
- โดยจะจัดเก็บรายการคำที่ถูกแบนซึ่งนโยบายไม่เคยได้รับอนุญาตให้ส่งออก
- โดยจะสร้างข้อความการฝึกล่วงหน้าใหม่เพื่อให้โมเดลพื้นฐานมีข้อมูลให้เรียนรู้มากขึ้น
- โดยเรียนรู้จากการเปรียบเทียบความชอบของมนุษย์และให้คะแนนผลลัพธ์เพื่อเป็นแนวทางในนโยบาย
- What does goal misspecification mean in the guide?
- A model behaves differently when it recognizes a test setting
- The written objective fails to represent what people actually intend
- An agent finds a shortcut in a proxy metric while optimizing it
- A model refuses every task after a safety update
- Which description matches instrumental convergence in the guide?
- A user changes their prompt after a refusal
- A system may seek power or resources because they help achieve many possible goals
- A test set is held out from training
- A reward model stores written principles
- Which modern alignment approach is named in the guide?
- Credit scoring notices
- Post-market incident reporting
- Dataset deduplication
- AI รัฐธรรมนูญ
- การวิจัย "การกำกับดูแลที่ปรับขนาดได้" พยายามแก้ไขอะไร
- วิธีลดจำนวนพารามิเตอร์ในขณะที่รักษาความแม่นยำให้คงที่
- วิธีที่มนุษย์สามารถควบคุม AI ในงานที่ยากเกินกว่าจะประเมินได้โดยตรง
- วิธีให้บริการโมเดลแก่ผู้ใช้หลายล้านคนพร้อมกันโดยไม่เพิ่มเวลาแฝง
- วิธีปรับขนาดคลัสเตอร์การฝึกอบรมในศูนย์ข้อมูลหลายแห่งอย่างมีประสิทธิภาพ
- Why does preference optimization not prove that a model has adopted human intent as an internal goal?
- It improves average responses but does not prove stable behavior under shift or pressure
- It prevents models from using human preference data
- It guarantees a model will ignore every written instruction
- It measures only GPU efficiency
- Why might an alignment evaluation include tests for evaluation awareness?
- To measure the number of human raters in training
- To determine whether a reward model has enough parameters
- To see whether a model changes behavior when it recognizes a test setting
- To prove that a system is conscious