แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ

แบบทดสอบการจัดตำแหน่ง AI

ทดสอบการแฮ็กรางวัล, การจำกัด RLHF, การเล่นเกมตามข้อกำหนด, การรับรู้ในการประเมิน และวิธีที่การควบคุมดูแลที่ปรับขนาดได้จะช่วยในงานที่ตรวจสอบยากได้อย่างไร

เส้นทางแนะนำที่เกี่ยวข้องการจัดตำแหน่ง AI
คำถาม 1 ของ 8

ในการวิจัยการจัดตำแหน่ง คำว่า "การแฮ็กรางวัล" อธิบายถึงอะไร

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. ในการวิจัยการจัดตำแหน่ง คำว่า "การแฮ็กรางวัล" อธิบายถึงอะไร
    • โมเดลปฏิเสธที่จะปรับรางวัลให้เหมาะสมเพราะงานดูเหมือนเป็นอันตราย
    • ตัวแทนใช้ประโยชน์จากข้อบกพร่องในสัญญาณรางวัลแทนที่จะทำงานตามที่ตั้งใจไว้
    • ผู้โจมตีขโมยน้ำหนักของโมเดลรางวัลเพื่อฝึกระบบการแข่งขันใหม่
    • นักพัฒนาจะเพิ่มมูลค่ารางวัลด้วยตนเองเพื่อเร่งการบรรจบกันระหว่างการฝึกอบรม
  2. ใน RLHF บทบาทของโมเดลการให้รางวัลคืออะไร?
    • โดยจะแทนที่ผู้ประเมินที่เป็นมนุษย์ทั้งหมดด้วยการเขียนคำตอบอ้างอิงเพื่อการปรับแต่งอย่างละเอียด
    • โดยจะจัดเก็บรายการคำที่ถูกแบนซึ่งนโยบายไม่เคยได้รับอนุญาตให้ส่งออก
    • โดยจะสร้างข้อความการฝึกล่วงหน้าใหม่เพื่อให้โมเดลพื้นฐานมีข้อมูลให้เรียนรู้มากขึ้น
    • โดยเรียนรู้จากการเปรียบเทียบความชอบของมนุษย์และให้คะแนนผลลัพธ์เพื่อเป็นแนวทางในนโยบาย
  3. What does goal misspecification mean in the guide?
    • A model behaves differently when it recognizes a test setting
    • The written objective fails to represent what people actually intend
    • An agent finds a shortcut in a proxy metric while optimizing it
    • A model refuses every task after a safety update
  4. Which description matches instrumental convergence in the guide?
    • A user changes their prompt after a refusal
    • A system may seek power or resources because they help achieve many possible goals
    • A test set is held out from training
    • A reward model stores written principles
  5. Which modern alignment approach is named in the guide?
    • Credit scoring notices
    • Post-market incident reporting
    • Dataset deduplication
    • AI รัฐธรรมนูญ
  6. การวิจัย "การกำกับดูแลที่ปรับขนาดได้" พยายามแก้ไขอะไร
    • วิธีลดจำนวนพารามิเตอร์ในขณะที่รักษาความแม่นยำให้คงที่
    • วิธีที่มนุษย์สามารถควบคุม AI ในงานที่ยากเกินกว่าจะประเมินได้โดยตรง
    • วิธีให้บริการโมเดลแก่ผู้ใช้หลายล้านคนพร้อมกันโดยไม่เพิ่มเวลาแฝง
    • วิธีปรับขนาดคลัสเตอร์การฝึกอบรมในศูนย์ข้อมูลหลายแห่งอย่างมีประสิทธิภาพ
  7. Why does preference optimization not prove that a model has adopted human intent as an internal goal?
    • It improves average responses but does not prove stable behavior under shift or pressure
    • It prevents models from using human preference data
    • It guarantees a model will ignore every written instruction
    • It measures only GPU efficiency
  8. Why might an alignment evaluation include tests for evaluation awareness?
    • To measure the number of human raters in training
    • To determine whether a reward model has enough parameters
    • To see whether a model changes behavior when it recognizes a test setting
    • To prove that a system is conscious