ภาพรวม
กรอบการจัดการความเสี่ยง NIST AI (AI RMF) เป็นคู่มือกลยุทธ์ของรัฐบาลสหรัฐอเมริกาโดยสมัครใจสำหรับการสร้าง AI ที่น่าเชื่อถือโดยการระบุและจัดการความเสี่ยงตลอดวงจรชีวิต เป็นเรื่องสำคัญเนื่องจากช่วยให้องค์กรมีโครงสร้างที่ยืดหยุ่นและใช้งานได้จริงในการดำเนินการ AI ที่มีความรับผิดชอบโดยไม่มีกฎหมายผูกมัด
กรอบการจัดการความเสี่ยงของ NIST AI อยู่ในชั้นทางสังคมและการกำกับดูแลของ AI ซึ่งนโยบาย ความรับผิดชอบ และความไว้วางใจจากสาธารณะเป็นตัวกำหนดผลกระทบในระยะยาว
เจาะลึก
AI RMF 1.0 เปิดตัวโดยสถาบันมาตรฐานและเทคโนโลยีแห่งชาติของสหรัฐอเมริกาในเดือนมกราคม 2023 โดยเป็นแบบสมัครใจและไม่เชื่อเรื่องพระเจ้าทุกภาคส่วน มันถูกจัดระเบียบตามหน้าที่หลักสี่ประการ: กำกับดูแล (สร้างวัฒนธรรมและนโยบายสำหรับความเสี่ยง AI), จัดทำแผนที่ (ทำความเข้าใจบริบทและระบุความเสี่ยง), การวัด (วิเคราะห์และติดตามความเสี่ยงด้วยตัวชี้วัด) และจัดการ (จัดลำดับความสำคัญและดำเนินการกับความเสี่ยงเหล่านั้น) กรอบการทำงานกำหนดลักษณะของ AI ที่น่าเชื่อถือ: ถูกต้องและเชื่อถือได้ ปลอดภัย ปลอดภัยและยืดหยุ่น รับผิดชอบและโปร่งใส อธิบายและตีความได้ เพิ่มความเป็นส่วนตัว และยุติธรรมโดยมีการจัดการอคติที่เป็นอันตราย NIST ยังเผยแพร่ Playbook ที่แสดงร่วมกับการดำเนินการที่แนะนำอย่างเป็นรูปธรรม และในปี 2024 ได้เพิ่มโปรไฟล์ Generative AI ที่ระบุถึงความเสี่ยงที่ไม่ซ้ำกับโมเดลภาษาขนาดใหญ่ เช่น การสับสน ข้อมูลรั่วไหล และเนื้อหาที่เป็นอันตราย
ข้อมูลเชิงลึกทางเทคนิค
ต่างจากรายการตรวจสอบ กองทุน RMF ถือว่าความน่าเชื่อถือเป็นชุดของการแลกเปลี่ยนเพื่อให้มีความสมดุล เนื่องจากการปรับปรุงทรัพย์สินแห่งหนึ่ง (เช่น ความถูกต้อง) อาจทำให้ทรัพย์สินอื่นเสื่อมถอย (เช่น ความเป็นส่วนตัวหรือความยุติธรรม) ฟังก์ชัน Govern เป็นการตัดขวางและป้อนอีกสามฟังก์ชัน Measure เน้นการใช้ทั้งการวัดเชิงปริมาณและวิธีการเชิงคุณภาพ รวมถึงการจัดทีมสีแดงและการประเมินโดยมนุษย์ เนื่องจากอันตรายจาก AI จำนวนมากต่อต้านการจับตัวเลขเพียงอย่างเดียว ผลลัพธ์ไม่ใช่เครื่องมือเฉพาะคือสิ่งที่กรอบงานระบุไว้
การเรียนรู้กรอบการจัดการความเสี่ยง NIST AI
กรอบการจัดการความเสี่ยง NIST AI (AI RMF) เป็นคู่มือกลยุทธ์ของรัฐบาลสหรัฐอเมริกาโดยสมัครใจสำหรับการสร้าง AI ที่น่าเชื่อถือโดยการระบุและจัดการความเสี่ยงตลอดวงจรชีวิต เป็นเรื่องสำคัญเนื่องจากช่วยให้องค์กรมีโครงสร้างที่ยืดหยุ่นและใช้งานได้จริงในการดำเนินการ AI ที่มีความรับผิดชอบโดยไม่มีกฎหมายผูกมัด กรอบการจัดการความเสี่ยงของ NIST AI อยู่ในชั้นทางสังคมและการกำกับดูแลของ AI ซึ่งนโยบาย ความรับผิดชอบ และความไว้วางใจจากสาธารณะเป็นตัวกำหนดผลกระทบในระยะยาว เพื่อสร้างความเข้าใจอย่างลึกซึ้ง ให้ถือว่า NIST AI Risk Management Framework เป็นเพียงโมเดลการดำเนินงาน ไม่ใช่คุณลักษณะเดียว: กำหนดผลลัพธ์ที่ต้องการ ชี้แจงสมมติฐาน และแยกสิ่งที่ระบบสามารถทำได้อย่างน่าเชื่อถือจากสิ่งที่ยังต้องใช้วิจารณญาณจากผู้เชี่ยวชาญ
ในทางปฏิบัติ ทีมที่แข็งแกร่งที่ใช้กรอบการจัดการความเสี่ยงของ NIST AI จะจับคู่การเติบโตของขีดความสามารถกับการกำกับดูแล ความปลอดภัย และโครงสร้างความรับผิดชอบที่ชัดเจน โดยจะบันทึกเกณฑ์ความสำเร็จที่ชัดเจน ทดสอบกับข้อมูลและขั้นตอนการทำงานที่สมจริง และทำซ้ำตามรูปแบบความล้มเหลวที่สังเกตได้ แทนที่จะชนะการวัดประสิทธิภาพเพียงครั้งเดียว นี่คือจุดที่ความเข้าใจทางทฤษฎีกลายเป็นความสามารถที่คงทนของผลิตภัณฑ์ นโยบาย และการดำเนินงาน
การตัดสินใจทางสังคมจะกำหนดว่าใครได้ประโยชน์และใครเป็นผู้แบกรับความเสี่ยง ในเวลาเดียวกัน การกล่าวอ้างแบบกว้าง ๆ อาจแพร่กระจายได้เร็วกว่าหลักฐานและการกำกับดูแลที่รับผิดชอบ แนวทางที่ยืดหยุ่นที่สุดคือการรวมความเร็วของการทดลองเข้ากับวินัยในการกำกับดูแล: ดำเนินการนำร่อง จับหลักฐาน เผยแพร่บันทึกการตัดสินใจ และอัปเดตการป้องกันอย่างต่อเนื่องเมื่อพฤติกรรมของโมเดล ความคาดหวังของผู้ใช้ และข้อกำหนดด้านกฎระเบียบมีการเปลี่ยนแปลง
ผลกระทบเชิงกลยุทธ์
การตัดสินใจทางสังคมจะกำหนดว่าใครได้ประโยชน์และใครเป็นผู้แบกรับความเสี่ยง
การตัดสินใจทางสังคมจะกำหนดว่าใครได้ประโยชน์และใครเป็นผู้แบกรับความเสี่ยง ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ
สถาบันสาธารณะ โรงเรียน และธุรกิจต่างก็พึ่งพาการกำกับดูแลด้าน AI ที่ชัดเจน
สถาบันสาธารณะ โรงเรียน และธุรกิจต่างก็พึ่งพาการกำกับดูแลด้าน AI ที่ชัดเจน ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ
การออกแบบนโยบายที่ดีสามารถปรับปรุงความปลอดภัยโดยไม่ปิดกั้นนวัตกรรมที่เป็นประโยชน์
การออกแบบนโยบายที่ดีสามารถปรับปรุงความปลอดภัยโดยไม่ปิดกั้นนวัตกรรมที่เป็นประโยชน์ ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ
การใช้งานจริงในโลกแห่งความเป็นจริง
บริษัทเทคโนโลยีแห่งหนึ่งจัดทำแผนที่บริบทของการจ้างงาน AI ใหม่ โดยแสดงรายการกลุ่มที่ได้รับผลกระทบและอันตรายที่อาจเกิดขึ้นก่อนจัดส่งรหัสใดๆ เพื่อเติมเต็มฟังก์ชันแผนที่
ธนาคารแห่งหนึ่งได้จัดตั้งคณะกรรมการกำกับดูแลด้าน AI และนโยบายความเสี่ยงที่เป็นลายลักษณ์อักษรเพื่อตอบสนองการทำงานของหน่วยงานกำกับดูแลในทุกรูปแบบ
ทีมงานใช้การวัดทีมสีแดงและอคติเพื่อวัดปริมาณโหมดความล้มเหลวของแชทบอทภายใต้ฟังก์ชันการวัด
บริษัทประกันสุขภาพปฏิบัติตามโปรไฟล์ Generative AI เพื่อจัดการกับความเสี่ยงด้านการประชุมและการรั่วไหลของข้อมูลใน LLM ที่ต้องพบปะกับลูกค้า
รูปแบบการดำเนินงาน
กรอบการจัดการความเสี่ยง NIST AI ในทางปฏิบัติ
บริษัทเทคโนโลยีแห่งหนึ่งจัดทำแผนที่บริบทของการจ้างงาน AI ใหม่ โดยแสดงรายการกลุ่มที่ได้รับผลกระทบและอันตรายที่อาจเกิดขึ้นก่อนจัดส่งรหัสใดๆ เพื่อเติมเต็มฟังก์ชันแผนที่
บริษัทเทคโนโลยีแห่งหนึ่งจัดทำแผนที่บริบทของการจ้างงาน AI ใหม่ แสดงรายการกลุ่มที่ได้รับผลกระทบและอันตรายที่อาจเกิดขึ้นก่อนที่จะส่งโค้ดใดๆ การปฏิบัติตามฟังก์ชันแผนที่ ทีมมักจะได้รับผลลัพธ์ที่ดีกว่าเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพการทำงานที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป
กรอบการจัดการความเสี่ยง NIST AI ในทางปฏิบัติ
ธนาคารแห่งหนึ่งได้จัดตั้งคณะกรรมการกำกับดูแลด้าน AI และนโยบายความเสี่ยงที่เป็นลายลักษณ์อักษรเพื่อตอบสนองการทำงานของหน่วยงานกำกับดูแลในทุกรูปแบบ
ธนาคารแห่งหนึ่งได้จัดตั้งคณะกรรมการกำกับดูแล AI และนโยบายความเสี่ยงที่เป็นลายลักษณ์อักษรเพื่อตอบสนองฟังก์ชันการควบคุมดูแลในทุกโมเดล ทีมมักจะได้รับผลลัพธ์ที่ดีกว่าเมื่อกำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพการทำงานที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป
กรอบการจัดการความเสี่ยง NIST AI ในทางปฏิบัติ
ทีมงานใช้การวัดทีมสีแดงและอคติเพื่อวัดปริมาณโหมดความล้มเหลวของแชทบอทภายใต้ฟังก์ชันการวัด
ทีมใช้การวัดทีมสีแดงและอคติเพื่อวัดปริมาณโหมดความล้มเหลวของแชทบอทภายใต้ฟังก์ชันการวัด ทีมมักจะได้รับผลลัพธ์ที่ดีกว่าเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพการทำงานที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป
กรอบการจัดการความเสี่ยง NIST AI ในทางปฏิบัติ
บริษัทประกันสุขภาพปฏิบัติตามโปรไฟล์ Generative AI เพื่อจัดการกับความเสี่ยงด้านการประชุมและการรั่วไหลของข้อมูลใน LLM ที่ต้องพบปะกับลูกค้า
บริษัทประกันสุขภาพปฏิบัติตามโปรไฟล์ Generative AI เพื่อจัดการกับความเสี่ยงในการสนทนาและข้อมูลรั่วไหลในทีม LLM ที่ต้องพบปะกับลูกค้า โดยปกติแล้วทีม LLM ที่ต้องพบปะกับลูกค้ามักจะได้รับผลลัพธ์ที่ดีกว่าเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพการทำงานที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป
ความเสี่ยงและรั้ว
การกล่าวอ้างในวงกว้างอาจแพร่กระจายได้เร็วกว่าหลักฐานและการกำกับดูแลที่รับผิดชอบ
การกำกับดูแลที่อ่อนแอสามารถทิ้งช่องว่างความรับผิดชอบได้เมื่อมีอันตรายเกิดขึ้น
อำนาจสามารถมีสมาธิได้เมื่อการเข้าถึง ความโปร่งใส และการตรวจสอบข้อเท็จจริงมีจำกัด
แผนงานการดำเนินงาน
ระบุผู้มีส่วนได้ส่วนเสียที่ได้รับผลกระทบและอันตรายที่สำคัญที่สุด
ระบุผู้มีส่วนได้ส่วนเสียที่ได้รับผลกระทบและอันตรายที่สำคัญที่สุด ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น
กำหนดข้อกำหนดด้านความโปร่งใสสำหรับข้อมูล แบบจำลอง และการตัดสินใจ
กำหนดข้อกำหนดด้านความโปร่งใสสำหรับข้อมูล แบบจำลอง และการตัดสินใจ ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น
เพิ่มการตรวจสอบอิสระหรือการทดสอบทีมแดงสำหรับระบบที่มีความเสี่ยงสูง
เพิ่มการตรวจสอบอิสระหรือการทดสอบทีมแดงสำหรับระบบที่มีความเสี่ยงสูง ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น
อัปเดตนโยบายและการควบคุมเมื่อความสามารถและรูปแบบการใช้งานมีการพัฒนา
อัปเดตนโยบายและการควบคุมเมื่อความสามารถและรูปแบบการใช้งานมีการพัฒนา ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น