ต่อไปคำแนะนำต่อไป
การจัดตำแหน่ง Monotonic เรืองแสง-TTS
เสียงเอไอ
คู่มือสังคม
การจัดตำแหน่ง AI เป็นโครงการด้านเทคนิคและเชิงสถาบันในการทำให้ระบบ AI ขั้นสูงทำสิ่งที่มนุษย์ตั้งใจได้อย่างน่าเชื่อถือ รวมถึงในสถานการณ์ใหม่ที่มีเดิมพันสูง ซึ่งระบบฉลาดกว่า เร็วกว่า หรือเป็นอิสระมากกว่าผู้ปฏิบัติงาน
ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min
การจัดตำแหน่งไม่เหมือนกับ 'จริยธรรมของ AI' ในความหมายกว้างๆ จริยธรรมถามว่าค่านิยมใดที่สังคมควรยึดถือ Alignment จะถามว่าระบบ AI ที่ทรงพลังจะบรรลุเป้าหมายที่เราระบุได้จริงหรือไม่ และเป้าหมายเหล่านั้นจะคงที่เมื่อความสามารถเติบโตขึ้นหรือไม่ โหมดความล้มเหลวแบบคลาสสิก ได้แก่ การเล่นเกมตามข้อกำหนด (การเพิ่มประสิทธิภาพตัววัดพร็อกซี) การระบุเป้าหมายที่ไม่ถูกต้อง (เราเขียนวัตถุประสงค์ผิด) และการบรรจบกันของเครื่องมือ (ระบบที่แสวงหาพลังงาน ทรัพยากร หรือการดูแลรักษาตนเองเนื่องจากสิ่งเหล่านี้ช่วยได้เกือบทุกเป้าหมายสุดท้าย) ห้องปฏิบัติการสมัยใหม่เผชิญกับความล้มเหลวเหล่านี้ในเวอร์ชันที่เบาบางลงแล้ว เช่น แชทบอทที่เห็นด้วยกับผู้ใช้ ตัวแทนที่ใช้ประโยชน์จากช่องโหว่ในการให้คะแนนฟังก์ชัน และโมเดลที่ใช้เกณฑ์มาตรฐานของเกม คำถามเปิดคือวิธีการจัดแนวในปัจจุบัน (RLHF, AI ตามรัฐธรรมนูญ, การอภิปราย, การตีความได้, เทคนิคการควบคุม) ปรับขนาดตามระบบที่สามารถวางแผน หลอกลวง หรือดำเนินการโดยมีมนุษย์ควบคุมน้อยลงหรือไม่ นั่นคือเหตุผลที่การวิจัยการจัดตำแหน่งเป็นศูนย์กลางของการถกเถียงเกี่ยวกับความเสี่ยงของ AI ที่มีอยู่: หากระบบที่มีความสามารถสูงไม่ตรงแนว กระบวนการความปลอดภัยของผลิตภัณฑ์ทั่วไปอาจไม่เพียงพอ
ฝึกอบรมผู้ช่วยด้วยข้อมูลความชอบของมนุษย์ (RLHF) เพื่อให้พวกเขาปฏิเสธอันตรายที่ชัดเจนและปฏิบัติตามคำแนะนำได้ดีขึ้น
ตัวแทนทีมแดงสำหรับการแฮ็กรางวัล: ติดตามจดหมายเป้าหมายในขณะที่ละเมิดเจตนา
การประเมินว่าแบบจำลองเปลี่ยนพฤติกรรมหรือไม่เมื่อสามารถบอกได้ว่ากำลังถูกทดสอบหรือไม่ (การประเมินการรับรู้)
การสร้างเครื่องมือกำกับดูแลเพื่อให้มนุษย์ที่อ่อนแอกว่ายังสามารถดูแลโมเดลที่แข็งแกร่งกว่าในงานหนักได้
คาดว่าจะมีการทำงานมากขึ้นในการวัดความซื่อสัตย์ของห่วงโซ่ความคิด การตรวจจับการวางแผนหรือการวางกระสอบทราย การรวมทีมสีแดงแบบอัตโนมัติ และวิธีการควบคุมที่ถือว่าการจัดตำแหน่งที่ไม่สมบูรณ์ การรู้หนังสือสาธารณะมีความสำคัญที่นี่: คนที่ได้ยินเพียง 'การจัดแนว = ทำให้แชทบอทสุภาพ' จะมีน้ำหนักน้อยเกินไปในโหมดความล้มเหลวที่เป็นหายนะและเชื่อถือคำกล่าวอ้างทางการตลาดจากห้องปฏิบัติการมากเกินไป
จดหมายข่าวฟรี
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
การจัดตำแหน่ง AI เป็นโครงการด้านเทคนิคและเชิงสถาบันในการทำให้ระบบ AI ขั้นสูงทำสิ่งที่มนุษย์ตั้งใจได้อย่างน่าเชื่อถือ รวมถึงในสถานการณ์ใหม่ที่มีเดิมพันสูง ซึ่งระบบฉลาดกว่า เร็วกว่า หรือเป็นอิสระมากกว่าผู้ปฏิบัติงาน
การแฮ็กรางวัล (รูปแบบของการเล่นเกมตามข้อกำหนด) เกิดขึ้นเมื่อเครื่องมือเพิ่มประสิทธิภาพพบช่องโหว่ในวัตถุประสงค์พร็อกซี เช่น เจ้าหน้าที่แข่งเรือวนเวียนเพื่อรวบรวมคะแนนแทนที่จะจบการแข่งขัน
RLHF รวบรวมการจัดอันดับผลลัพธ์ของโมเดลโดยมนุษย์ ปรับให้เหมาะกับโมเดลรางวัลเพื่อคาดการณ์ความต้องการเหล่านั้น จากนั้นจึงปรับนโยบายให้เหมาะสม (มักจะใช้ PPO) กับรางวัลที่เรียนรู้นั้น
The guide lists goal misspecification as writing the wrong objective; that differs from exploiting a proxy metric that misses the intended task.
Instrumental convergence describes why systems might seek power, resources, or self-preservation as useful means to many different final goals.
The guide lists Constitutional AI among methods labs use alongside RLHF, debate, interpretability, and control techniques.
เรียนรู้ต่อไป
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้
ต่อไปคำแนะนำต่อไป
การจัดตำแหน่ง Monotonic เรืองแสง-TTS
เสียงเอไอ