เกิดอะไรขึ้น
Cohere ให้เหตุผลว่าแผนงานของ Dario Amodei CEO ของ Anthropic ขออนุญาตจากรัฐบาลอย่างไม่เหมาะสมสำหรับห้องปฏิบัติการ AI รายใหญ่เพื่อประสานงานเกี่ยวกับมาตรฐานความปลอดภัยและขีดจำกัดการพัฒนา โพสต์นี้นำเสนอการรายงานเหตุการณ์ ความสามารถในการสังเกต การป้องกันเฉพาะการปรับใช้งาน และการมีส่วนร่วมที่กว้างขึ้นในการสร้างกฎ
ในแหล่งที่มา Cohere ระบุว่ากลุ่มเล็กๆ ของบริษัท AI ที่โดดเด่นใน Silicon Valley ไม่ควรได้รับอนุญาตให้กำหนดมาตรฐานความปลอดภัยสำหรับอุตสาหกรรมในวงกว้าง ในขณะเดียวกันก็กำหนดก้าวของการพัฒนาเทคโนโลยีด้วย โดยระบุลักษณะของแผนงาน Anthropic ซึ่งมาจาก CEO Dario Amodei และอธิบายว่าเผยแพร่ในสัปดาห์นั้น เพื่อแสวงหาการสละสิทธิ์การต่อต้านการผูกขาดในวงแคบ เพื่อให้ห้องปฏิบัติการที่แข่งขันกันสามารถประสานงานเกี่ยวกับมาตรฐานที่ใช้ร่วมกันและขีดจำกัดการพัฒนา
โพสต์ดังกล่าวระบุว่า Cohere สนับสนุนการตรวจสอบระบบ AI ที่มีความสามารถสูงโดยอิสระ แต่มีข้อโต้แย้งว่าใครจะเป็นผู้เขียนมาตรฐาน ดูแลผู้ตรวจสอบ และตัดสินใจว่านักพัฒนาและผู้มีส่วนได้ส่วนเสียสาธารณะรายใดเข้าร่วม โดยระบุว่าเฟรมเวิร์กที่มีศูนย์กลางอยู่ที่เกณฑ์การประมวลผล โมเดลขนาดใหญ่ และห้องปฏิบัติการระดับแนวหน้าสามารถมองข้ามความเสี่ยงจากระบบขนาดเล็ก เอเจนต์การใช้เครื่องมือ กลุ่มเอเจนต์ที่ประสานงานกัน และโมเดลที่ใช้งานในสภาพแวดล้อมที่ละเอียดอ่อน
Cohere เสนอแนวทางที่อิงตามความเสี่ยงโดยมุ่งเน้นไปที่การรายงานเหตุการณ์ร้ายแรง การทดสอบโหมดความล้มเหลวที่ทราบ ความสามารถในการสังเกตหรือการบันทึกเวลาทดสอบ และการแยกระบบที่เชื่อมต่อกับโครงสร้างพื้นฐานที่สำคัญ นอกจากนี้ยังแย้งว่าการป้องกันควรขึ้นอยู่กับสิ่งที่ระบบสามารถทำได้และสิ่งที่สามารถเข้าถึงได้ แทนที่จะขึ้นอยู่กับขนาดของบริษัทที่สร้างมันขึ้นมาเท่านั้น นี่เป็นข้อเสนอในแหล่งที่มา ไม่ใช่ข้อกำหนดของรัฐบาลที่รายงาน
แหล่งที่มายังเชื่อมโยงข้อโต้แย้งด้านนโยบายกับความต้องการเชิงพาณิชย์ของ Cohere สำหรับระบบที่ใช้งานบนโครงสร้างพื้นฐานที่ควบคุมโดยลูกค้าหรือรัฐบาล กล่าวว่าความหลากหลายทางเทคโนโลยีและการปรับใช้ในท้องถิ่นสามารถลดการพึ่งพาผู้ให้บริการรายเดียว ขณะเดียวกันก็รับรู้ว่า Cohere ไม่ควรเป็นผู้กำหนดกฎเกณฑ์แต่เพียงผู้เดียว
ทำไมมันถึงสำคัญ
ข้อพิพาทดังกล่าวเกี่ยวข้องกับใครจะเป็นผู้กำหนดมาตรการป้องกันที่มีผลผูกพันสำหรับระบบ AI ที่มีความสามารถเพิ่มมากขึ้น และกฎความปลอดภัยสามารถเสริมอำนาจทางการตลาดของห้องปฏิบัติการเดิมได้หรือไม่ ตำแหน่งของ Cohere มีความสนใจในเชิงพาณิชย์ แต่ทำให้เกิดคำถามเชิงปฏิบัติเกี่ยวกับความรับผิดชอบ การแข่งขัน การประเมินโดยอิสระ และการป้องกันสำหรับ AI ที่ใช้ในโรงพยาบาล เครือข่ายทางการเงิน โครงสร้างพื้นฐานที่สำคัญ และระบบของรัฐบาล แหล่งที่มาไม่ได้ระบุว่าได้รับการยกเว้นใดๆ หรือมีการนำข้อเสนอของตนไปใช้แล้ว
หากคำอธิบายของแหล่งที่มาถูกต้อง การจัดการที่เสนอจะทำให้เกิดความตึงเครียดระหว่างการประสานงานเพื่อความปลอดภัยและกฎหมายการแข่งขัน มาตรฐานที่ใช้ร่วมกันสามารถลดงานที่ซ้ำซ้อนและทำให้การเปรียบเทียบความเสี่ยงง่ายขึ้น แต่กฎที่ออกแบบโดยนักพัฒนาหน้าที่เป็นหลักสามารถรักษาข้อได้เปรียบของพวกเขาและทำให้สมมติฐานด้านความปลอดภัยภายในเป็นค่าเริ่มต้นของอุตสาหกรรม
แหล่งที่มาเน้นย้ำถึงคำถามการออกแบบที่ตามมา: การกำกับดูแลควรถูกกระตุ้นโดยขนาดของโมเดลหรือข้อกำหนดในการประมวลผล หรือโดยความสามารถของระบบ บริบทการปรับใช้ เครื่องมือ และการเข้าถึงโครงสร้างพื้นฐานในโลกแห่งความเป็นจริง ความแตกต่างดังกล่าวมีความสำคัญเนื่องจากระบบที่มีประสิทธิภาพน้อยกว่ายังคงสามารถสร้างอันตรายร้ายแรงได้เมื่อเชื่อมต่อกับโรงพยาบาล เครือข่ายการชำระเงิน สาธารณูปโภค หรือข้อมูลที่ละเอียดอ่อน
ข้อโต้แย้งไม่ใช่หลักฐานอิสระที่แสดงว่าข้อเสนอของ Anthropic จะสร้างกลุ่มพันธมิตร ว่าระบบความปลอดภัยที่มีอยู่ล้มเหลวในลักษณะที่อธิบายไว้ หรือการปรับใช้ในพื้นที่นั้นปลอดภัยกว่าอย่างเด็ดขาด สิ่งเหล่านี้เป็นการเรียกร้องและการตัดสินของ Cohere โพสต์ดังกล่าวไม่ได้ให้คำตอบจากรัฐบาล การวิเคราะห์ทางกฎหมาย การประเมินโดยอิสระ หรือหลักฐานที่แสดงให้เห็นว่าผู้กำหนดนโยบายจะนำทางเลือกอื่นไปใช้อย่างไร
กลไกเชิงโต้ตอบ: มันทำงานอย่างไร
สำรวจเทคโนโลยีเบื้องหลังการพัฒนานี้แบบโต้ตอบ
Why can ethical evaluation not be reduced to one model score?
จะดูอะไรต่อไป.
การพัฒนาที่สำคัญคือการที่รัฐบาลพิจารณาข้อเสนอการยกเว้นการต่อต้านการผูกขาดอย่างเป็นทางการ ไม่ว่า Anthropic หรือห้องปฏิบัติการอื่นจะตอบสนองหรือไม่ และผู้กำหนดนโยบายจะติดตามขนาดบริษัทหรือเกณฑ์ตามเกณฑ์การประมวลผล ดูกฎเกณฑ์ที่เป็นรูปธรรมเกี่ยวกับการรายงานเหตุการณ์ การบันทึก การแยกการใช้งาน การทดสอบอิสระ และการมีส่วนร่วมของนักพัฒนารายย่อย นักวิจัย ภาคประชาสังคม และรัฐบาลที่ได้รับผลกระทบ
ไม่มีการยกเว้นการต่อต้านการผูกขาด มาตรฐานที่มีผลผูกพัน การให้คำปรึกษาสาธารณะ ตารางเวลาการใช้งาน หรือการกำหนดราคาและเงื่อนไขการเข้าถึงได้รับการบันทึกไว้ในแหล่งที่มา ยังไม่ชัดเจนว่ารัฐบาลใดกำลังพิจารณาข้อเสนอดังกล่าว ไม่ว่า Anthropic ได้ยื่นข้อเสนอดังกล่าวอย่างเป็นทางการต่อหน่วยงานกำกับดูแลหรือไม่ และห้องปฏิบัติการหลักอื่น ๆ สนับสนุนข้อเสนอนี้หรือไม่
การรายงานเพิ่มเติมควรตรวจสอบข้อความและสถานะของแผนงาน Anthropic ระบุบริษัทและหน่วยงานกำกับดูแลที่เกี่ยวข้อง และเปรียบเทียบข้อเสนอกับกฎการแข่งขัน ความปลอดภัย และโครงสร้างพื้นฐานที่สำคัญที่มีอยู่ คำตอบจาก Anthropic เจ้าหน้าที่การแข่งขัน ผู้ประเมินอิสระ และกลุ่มประชาสังคมจะชี้แจงว่าความขัดแย้งนั้นเกี่ยวกับการประสานงานทางกฎหมาย เกณฑ์ด้านเทคนิค การกำกับดูแล หรือรูปแบบการใช้งานที่ Cohere ต้องการหรือไม่
การทดสอบภาคปฏิบัติคือว่ากรอบการทำงานผลลัพธ์ใดๆ จำเป็นต้องมีการควบคุมที่วัดผลได้หรือไม่: การเปิดเผยเหตุการณ์ ความเป็นอิสระในการตรวจสอบ การตัดไม้ การควบคุมดูแลโดยมนุษย์ ข้อจำกัดในการเข้าถึง และการแยกออกจากระบบที่สำคัญ นอกจากนี้ ยังสำคัญด้วยว่าห้องปฏิบัติการขนาดเล็ก นักพัฒนาโอเพ่นซอร์ส นักวิจัย และชุมชนที่ได้รับผลกระทบสามารถมีส่วนร่วมในการกำหนดและท้าทายข้อกำหนดเหล่านั้นได้หรือไม่