คู่มือสังคม

การจัดตำแหน่ง AI

การจัดตำแหน่ง AI เป็นโครงการด้านเทคนิคและเชิงสถาบันในการทำให้ระบบ AI ขั้นสูงทำสิ่งที่มนุษย์ตั้งใจได้อย่างน่าเชื่อถือ รวมถึงในสถานการณ์ใหม่ที่มีเดิมพันสูง ซึ่งระบบฉลาดกว่า เร็วกว่า หรือเป็นอิสระมากกว่าผู้ปฏิบัติงาน

ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min

บนหน้านี้อ่าน 2 นาที
  1. เจาะลึก
  2. การใช้งานจริงในโลกแห่งความเป็นจริง
  3. อนาคตของการจัดตำแหน่ง AI
  4. การนำไปปฏิบัติ
  5. สำรวจต่อไป
  6. คำถามที่พบบ่อย

เจาะลึก

การจัดตำแหน่งไม่เหมือนกับ 'จริยธรรมของ AI' ในความหมายกว้างๆ จริยธรรมถามว่าค่านิยมใดที่สังคมควรยึดถือ Alignment จะถามว่าระบบ AI ที่ทรงพลังจะบรรลุเป้าหมายที่เราระบุได้จริงหรือไม่ และเป้าหมายเหล่านั้นจะคงที่เมื่อความสามารถเติบโตขึ้นหรือไม่ โหมดความล้มเหลวแบบคลาสสิก ได้แก่ การเล่นเกมตามข้อกำหนด (การเพิ่มประสิทธิภาพตัววัดพร็อกซี) การระบุเป้าหมายที่ไม่ถูกต้อง (เราเขียนวัตถุประสงค์ผิด) และการบรรจบกันของเครื่องมือ (ระบบที่แสวงหาพลังงาน ทรัพยากร หรือการดูแลรักษาตนเองเนื่องจากสิ่งเหล่านี้ช่วยได้เกือบทุกเป้าหมายสุดท้าย) ห้องปฏิบัติการสมัยใหม่เผชิญกับความล้มเหลวเหล่านี้ในเวอร์ชันที่เบาบางลงแล้ว เช่น แชทบอทที่เห็นด้วยกับผู้ใช้ ตัวแทนที่ใช้ประโยชน์จากช่องโหว่ในการให้คะแนนฟังก์ชัน และโมเดลที่ใช้เกณฑ์มาตรฐานของเกม คำถามเปิดคือวิธีการจัดแนวในปัจจุบัน (RLHF, AI ตามรัฐธรรมนูญ, การอภิปราย, การตีความได้, เทคนิคการควบคุม) ปรับขนาดตามระบบที่สามารถวางแผน หลอกลวง หรือดำเนินการโดยมีมนุษย์ควบคุมน้อยลงหรือไม่ นั่นคือเหตุผลที่การวิจัยการจัดตำแหน่งเป็นศูนย์กลางของการถกเถียงเกี่ยวกับความเสี่ยงของ AI ที่มีอยู่: หากระบบที่มีความสามารถสูงไม่ตรงแนว กระบวนการความปลอดภัยของผลิตภัณฑ์ทั่วไปอาจไม่เพียงพอ

การใช้งานจริงในโลกแห่งความเป็นจริง

ฝึกอบรมผู้ช่วยด้วยข้อมูลความชอบของมนุษย์ (RLHF) เพื่อให้พวกเขาปฏิเสธอันตรายที่ชัดเจนและปฏิบัติตามคำแนะนำได้ดีขึ้น

ตัวแทนทีมแดงสำหรับการแฮ็กรางวัล: ติดตามจดหมายเป้าหมายในขณะที่ละเมิดเจตนา

การประเมินว่าแบบจำลองเปลี่ยนพฤติกรรมหรือไม่เมื่อสามารถบอกได้ว่ากำลังถูกทดสอบหรือไม่ (การประเมินการรับรู้)

การสร้างเครื่องมือกำกับดูแลเพื่อให้มนุษย์ที่อ่อนแอกว่ายังสามารถดูแลโมเดลที่แข็งแกร่งกว่าในงานหนักได้

อนาคตของการจัดตำแหน่ง AI

คาดว่าจะมีการทำงานมากขึ้นในการวัดความซื่อสัตย์ของห่วงโซ่ความคิด การตรวจจับการวางแผนหรือการวางกระสอบทราย การรวมทีมสีแดงแบบอัตโนมัติ และวิธีการควบคุมที่ถือว่าการจัดตำแหน่งที่ไม่สมบูรณ์ การรู้หนังสือสาธารณะมีความสำคัญที่นี่: คนที่ได้ยินเพียง 'การจัดแนว = ทำให้แชทบอทสุภาพ' จะมีน้ำหนักน้อยเกินไปในโหมดความล้มเหลวที่เป็นหายนะและเชื่อถือคำกล่าวอ้างทางการตลาดจากห้องปฏิบัติการมากเกินไป

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • ความเสี่ยงและความปลอดภัย. ความเสียหายที่เกิดจาก AI ที่เป็นหายนะและเกิดขึ้นทุกวันนั้นขึ้นอยู่กับว่าใครเข้าใจความเสี่ยงและใครสามารถดำเนินการได้
  • การตัดสินใจที่ชัดเจนยิ่งขึ้น. ความรู้สาธารณะและวิชาชีพเป็นตัวกำหนดว่านโยบายความปลอดภัยที่เข้มงวดจะเป็นไปได้ทางการเมืองหรือไม่
  • ตัดผ่านกระแสโฆษณาชวนเชื่อ. คำอธิบายที่ชัดเจนช่วยลดการจับภาพโดยการโฆษณาเกินจริง การประชาสัมพันธ์ในห้องปฏิบัติการ และการแสดงจริยธรรมที่คลุมเครือ

ระวัง

  • การรักษาความเสี่ยงที่มีอยู่เป็นไซไฟในขณะที่สารประกอบความสามารถ
  • ความปลอดภัยของผลิตภัณฑ์พื้นผิวที่สับสนด้วยการจัดตำแหน่งภายใต้ความเป็นอิสระสูง
  • ปล่อยให้ผู้ชมที่ไม่ใช่ภาษาอังกฤษและไม่ใช่ผู้เชี่ยวชาญเหลือเพียงแหล่งข้อมูลคุณภาพต่ำ

ขั้นตอนต่อไป

  1. แยกอันตรายของผลิตภัณฑ์ การใช้ในทางที่ผิด และความเสี่ยงในการสูญเสียการควบคุม/การวางแนวที่ไม่ถูกต้อง
  2. ถามว่าหลักฐานใดที่จะเปลี่ยนมุมมองของคุณเกี่ยวกับลำดับเวลาและความรุนแรง
  3. ชอบแหล่งที่มาหลักและการประเมินที่เป็นรูปธรรมมากกว่าคำกล่าวอ้างทางการตลาด
  4. ระบุเส้นทางการดำเนินการเส้นทางเดียว: อาชีพ นโยบาย เงินทุน หรือทักษะ ไม่ใช่แค่ความตระหนักรู้เท่านั้น

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

Take the AI Alignment quiz

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

What is AI Alignment?

การจัดตำแหน่ง AI เป็นโครงการด้านเทคนิคและเชิงสถาบันในการทำให้ระบบ AI ขั้นสูงทำสิ่งที่มนุษย์ตั้งใจได้อย่างน่าเชื่อถือ รวมถึงในสถานการณ์ใหม่ที่มีเดิมพันสูง ซึ่งระบบฉลาดกว่า เร็วกว่า หรือเป็นอิสระมากกว่าผู้ปฏิบัติงาน

ในการวิจัยการจัดตำแหน่ง คำว่า "การแฮ็กรางวัล" อธิบายถึงอะไร

การแฮ็กรางวัล (รูปแบบของการเล่นเกมตามข้อกำหนด) เกิดขึ้นเมื่อเครื่องมือเพิ่มประสิทธิภาพพบช่องโหว่ในวัตถุประสงค์พร็อกซี เช่น เจ้าหน้าที่แข่งเรือวนเวียนเพื่อรวบรวมคะแนนแทนที่จะจบการแข่งขัน

ใน RLHF บทบาทของโมเดลการให้รางวัลคืออะไร?

RLHF รวบรวมการจัดอันดับผลลัพธ์ของโมเดลโดยมนุษย์ ปรับให้เหมาะกับโมเดลรางวัลเพื่อคาดการณ์ความต้องการเหล่านั้น จากนั้นจึงปรับนโยบายให้เหมาะสม (มักจะใช้ PPO) กับรางวัลที่เรียนรู้นั้น

What does goal misspecification mean in the guide?

The guide lists goal misspecification as writing the wrong objective; that differs from exploiting a proxy metric that misses the intended task.

Which description matches instrumental convergence in the guide?

Instrumental convergence describes why systems might seek power, resources, or self-preservation as useful means to many different final goals.

Which modern alignment approach is named in the guide?

The guide lists Constitutional AI among methods labs use alongside RLHF, debate, interpretability, and control techniques.

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →