คู่มือสังคม

ความปลอดภัยของเอไอ

ความปลอดภัยของ AI เป็นสาขาที่มุ่งเน้นไปที่การป้องกันระบบ AI ไม่ให้ก่อให้เกิดอันตรายร้ายแรง ตั้งแต่ความล้มเหลวในชีวิตประจำวันและการใช้งานในทางที่ผิด จนถึงภัยพิบัติและความเสี่ยงที่มีอยู่จากระบบขั้นสูงที่มีความสามารถสูง

ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min

บนหน้านี้อ่าน 2 นาที
  1. เจาะลึก
  2. การใช้งานจริงในโลกแห่งความเป็นจริง
  3. อนาคตของความปลอดภัยของ AI
  4. การนำไปปฏิบัติ
  5. สำรวจต่อไป
  6. คำถามที่พบบ่อย

เจาะลึก

ความปลอดภัยของ AI ครอบคลุมทุกขอบเขต ด้านหนึ่งคือความเสี่ยงของผลิตภัณฑ์ที่คุ้นเคย: ภาพหลอน อคติ การรั่วไหลของความเป็นส่วนตัว การหลอกลวง และคำแนะนำที่ไม่ปลอดภัย อีกด้านหนึ่งคือความเสี่ยงที่เติบโตตามความสามารถ: ระบบอัตโนมัติที่ไล่ตามเป้าหมายที่ไม่ได้ตั้งใจ โมเดลที่ช่วยจัดการกับภัยพิบัติในทางที่ผิด (เชื้อโรค การโจมตีทางไซเบอร์) และการแข่งขันที่กดดันห้องปฏิบัติการให้ปรับใช้ก่อนที่งานด้านความปลอดภัยจะพร้อม การอภิปรายเกี่ยวกับความเสี่ยงที่มีอยู่มุ่งเน้นไปที่ความเป็นไปได้ที่ระบบ AI ในอนาคตจะมีพลังมากพอที่ความล้มเหลวเพียงครั้งเดียว เช่น การวางแนวที่ไม่ถูกต้อง การสูญเสียการควบคุม หรือการแพร่กระจายที่ไม่สามารถย้อนกลับได้ อาจทำให้อนาคตของมนุษยชาติบั่นทอนลงอย่างถาวร คุณไม่จำเป็นต้องกำหนดความเป็นไปได้สูงให้กับผลลัพธ์นั้นเพื่อทำการวิจัยอย่างจริงจัง ความน่าจะเป็นต่ำและความเสี่ยงที่มีผลกระทบรุนแรงยังคงเป็นเหตุผลในการเตรียมการ เช่นเดียวกับที่เกิดขึ้นในความปลอดภัยทางชีวภาพและความปลอดภัยทางนิวเคลียร์ งานด้านความปลอดภัยในทางปฏิบัติในปัจจุบันประกอบด้วยการประเมิน การรวมทีมสีแดง การตีความได้ เทคนิคการควบคุม การกำกับดูแล (ใครจะฝึกอบรมอะไร) และความเข้าใจของสาธารณชนเพื่อให้สังคมสามารถสนับสนุนนโยบายที่ดีได้

การใช้งานจริงในโลกแห่งความเป็นจริง

โมเดลการรวมทีมสีแดงสำหรับความเสี่ยงด้านความปลอดภัยทางชีวภาพ ไซเบอร์ และการหลอกลวงก่อนเผยแพร่

การประเมินความสามารถในการรันที่จะตรวจสอบว่าแบบจำลองสามารถช่วยงานที่เป็นอันตรายได้หรือไม่

การปรับใช้การควบคุมแบบหลายชั้น: นโยบายการใช้งาน การตรวจสอบ การจำกัดอัตรา และการยกระดับโดยมนุษย์สำหรับการดำเนินการที่มีความเสี่ยงสูง

การออกแบบการตอบสนองต่อเหตุการณ์เมื่อโมเดลล้มเหลวในการผลิตหรือการเจลเบรกแพร่กระจาย

อนาคตของความปลอดภัยของ AI

เมื่อแบบจำลองมีการใช้เครื่องมือและมีอิสระมากขึ้น ความปลอดภัยจะเปลี่ยนจาก 'อย่าพูดสิ่งที่ไม่ดี' ไปสู่ ​​'อย่าดำเนินการอย่างถาวรโดยปราศจากการควบคุมดูแลที่เชื่อถือได้' คาดหวังการประเมินที่เป็นมาตรฐานมากขึ้น การตรวจสอบโดยบุคคลที่สาม นโยบายการประมวลผลและเผยแพร่ และความต้องการความโปร่งใสของสาธารณะ การรู้หนังสือเป็นส่วนหนึ่งของความปลอดภัย หากมีเพียงผู้เชี่ยวชาญเท่านั้นที่เข้าใจความเสี่ยง การปกครองแบบประชาธิปไตยก็ไม่สามารถตามทันได้

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • ความเสี่ยงและความปลอดภัย. ความเสียหายที่เกิดจาก AI ที่เป็นหายนะและเกิดขึ้นทุกวันนั้นขึ้นอยู่กับว่าใครเข้าใจความเสี่ยงและใครสามารถดำเนินการได้
  • การตัดสินใจที่ชัดเจนยิ่งขึ้น. ความรู้สาธารณะและวิชาชีพเป็นตัวกำหนดว่านโยบายความปลอดภัยที่เข้มงวดจะเป็นไปได้ทางการเมืองหรือไม่
  • ตัดผ่านกระแสโฆษณาชวนเชื่อ. คำอธิบายที่ชัดเจนช่วยลดการจับภาพโดยการโฆษณาเกินจริง การประชาสัมพันธ์ในห้องปฏิบัติการ และการแสดงจริยธรรมที่คลุมเครือ

ระวัง

  • การรักษาความเสี่ยงที่มีอยู่เป็นไซไฟในขณะที่สารประกอบความสามารถ
  • ความปลอดภัยของผลิตภัณฑ์พื้นผิวที่สับสนด้วยการจัดตำแหน่งภายใต้ความเป็นอิสระสูง
  • ปล่อยให้ผู้ชมที่ไม่ใช่ภาษาอังกฤษและไม่ใช่ผู้เชี่ยวชาญเหลือเพียงแหล่งข้อมูลคุณภาพต่ำ

ขั้นตอนต่อไป

  1. แยกอันตรายของผลิตภัณฑ์ การใช้ในทางที่ผิด และความเสี่ยงในการสูญเสียการควบคุม/การวางแนวที่ไม่ถูกต้อง
  2. ถามว่าหลักฐานใดที่จะเปลี่ยนมุมมองของคุณเกี่ยวกับลำดับเวลาและความรุนแรง
  3. ชอบแหล่งที่มาหลักและการประเมินที่เป็นรูปธรรมมากกว่าคำกล่าวอ้างทางการตลาด
  4. ระบุเส้นทางการดำเนินการเส้นทางเดียว: อาชีพ นโยบาย เงินทุน หรือทักษะ ไม่ใช่แค่ความตระหนักรู้เท่านั้น

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

Take the AI Safety quiz

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

ความปลอดภัยของ AI คืออะไร?

ความปลอดภัยของ AI เป็นสาขาที่มุ่งเน้นไปที่การป้องกันระบบ AI ไม่ให้ก่อให้เกิดอันตรายร้ายแรง ตั้งแต่ความล้มเหลวในชีวิตประจำวันและการใช้งานในทางที่ผิด จนถึงภัยพิบัติและความเสี่ยงที่มีอยู่จากระบบขั้นสูงที่มีความสามารถสูง

In the guide’s capability-alignment-security mental model, what does capability describe?

The guide defines capability as system ability, distinct from alignment and security.

What does specification gaming mean in AI safety?

The guide’s safety concepts distinguish optimizing a proxy from the intended objective.

What is the risk in relying only on output filters for a tool-using agent?

The guide notes that output-only safeguards can fail with jailbreaks or multi-step actions.

Why include red-teaming in a safety program?

The guide names adversarial testing as practical safety work.

What should a safety evaluation examine beyond a polished model card?

The guide calls for measuring capabilities and testing behavior under deployment conditions.

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →