ต่อไปคำแนะนำต่อไป
การปรับแต่งโมเดลการฝังอย่างละเอียดเพื่อการดึงข้อมูล
เทคนิค
คู่มือทางเทคนิค
การ์ดโมเดลเป็นเอกสารที่มีโครงสร้างสั้นๆ ซึ่งอธิบายว่าโมเดล AI มีไว้เพื่ออะไร มีการประเมินอย่างไร ทำงานได้ดีเพียงใดสำหรับกลุ่มและเงื่อนไขต่างๆ และจุดใดที่ไม่ควรใช้
ฟังคำแนะนำนี้บรรยายโดย AI · ~3 min
แผ่นข้อมูลสำหรับชุดข้อมูลจะเหมือนกันสำหรับข้อมูลการฝึกอบรม: เหตุใดข้อมูลจึงถูกรวบรวม ข้อมูลที่มีอยู่ วิธีการรวบรวมและติดป้ายกำกับ และวิธีดูแลรักษาข้อมูล เอกสารเหล่านี้มีความสำคัญเนื่องจากช่วยให้ผู้ซื้อ ผู้ใช้ ผู้ตรวจสอบบัญชี และหน่วยงานกำกับดูแลตัดสินว่าระบบเหมาะสมกับวัตถุประสงค์หรือไม่ และกฎหมาย เช่น พระราชบัญญัติ AI ของสหภาพยุโรป จำเป็นต้องมีเอกสารที่คล้ายกันในขณะนี้
การ์ดโมเดลได้รับการเสนอโดย Margaret Mitchell และเพื่อนร่วมงานในรายงาน "การ์ดโมเดลสำหรับการรายงานโมเดล" ซึ่งนำเสนอในการประชุม ACM FAT* ในปี 2019 ส่วนที่แนะนำ ได้แก่ รายละเอียดโมเดล การใช้งานตามวัตถุประสงค์ ปัจจัย (เช่น สภาวะทางประชากรหรือสภาพแวดล้อม) ตัวชี้วัด ข้อมูลการประเมิน ข้อมูลการฝึกอบรม การวิเคราะห์เชิงปริมาณ ข้อพิจารณาด้านจริยธรรม และคำเตือนและคำแนะนำ แนวคิดหลักคือการประเมินแบบแยกส่วน: การรายงานประสิทธิภาพแยกกันสำหรับกลุ่มย่อยที่เกี่ยวข้อง แทนที่จะเป็นคะแนนเฉลี่ยหนึ่งคะแนนที่สามารถซ่อนความล้มเหลวได้ เอกสารข้อมูลสำหรับชุดข้อมูลโดย Timnit Gebru และเพื่อนร่วมงาน เผยแพร่ครั้งแรกในปี 2018 และต่อมาได้รับการตีพิมพ์ใน Communications of the ACM มันยืมมาจากเอกสารข้อมูลอิเล็กทรอนิกส์ ผู้สร้างชุดข้อมูลตอบคำถามเกี่ยวกับแรงจูงใจ องค์ประกอบ กระบวนการรวบรวม การประมวลผลล่วงหน้าและการติดฉลาก การใช้ การแจกจ่าย และการบำรุงรักษา รูปแบบที่เกี่ยวข้องประกอบด้วยคำสั่งข้อมูลสำหรับชุดข้อมูลภาษาและการ์ดข้อมูล การ์ดระบบซึ่งใช้โดย Meta และ OpenAI ตั้งแต่ปี 2022 และโดดเด่นสำหรับ GPT-4 ในปี 2023 บันทึกระบบที่ใช้งานทั้งหมด รวมถึงการทดสอบความปลอดภัยและการบรรเทาผลกระทบ แทนที่จะเป็นเพียงโมเดลเท่านั้น กฎระเบียบได้เปลี่ยนแนวทางปฏิบัตินี้ให้กลายเป็นข้อกำหนด พระราชบัญญัติ AI ของสหภาพยุโรปกำหนดให้ต้องมีเอกสารทางเทคนิคสำหรับระบบ AI ที่มีความเสี่ยงสูง ตามที่ระบุไว้ในภาคผนวก IV ผู้ให้บริการโมเดล AI สำหรับใช้งานทั่วไปจะต้องเก็บเอกสารทางเทคนิค ให้ข้อมูลแก่ผู้ให้บริการขั้นปลาย และเผยแพร่สรุปเนื้อหาการฝึกอบรมโดยใช้เทมเพลตคอมมิชชัน ความเข้าใจผิดที่พบบ่อยคือการ์ดโมเดลพิสูจน์ว่าโมเดลนั้นปลอดภัย เป็นการเปิดเผย ไม่ใช่การรับรอง และการ์ดอาจไม่สมบูรณ์ ล้าสมัย หรือเป็นลายลักษณ์อักษรได้เหมือนกับการตลาด คุณค่าของมันขึ้นอยู่กับข้อจำกัดและการประเมินโดยสุจริตที่บุคคลอื่นสามารถทำซ้ำได้
โรงพยาบาลที่ทำการประเมินเครื่องแยกประเภทรอยโรคที่ผิวหนังจะอ่านการ์ดโมเดลและพบว่ามีการรายงานความแม่นยำแยกกันตามสีผิว จากนั้นจะตัดสินใจดำเนินการตรวจสอบความถูกต้องในเครื่องของตนเองก่อนใช้งาน
พื้นที่เก็บข้อมูลโมเดล Hugging Face แสดงการ์ดโมเดลพร้อมข้อมูลเมตา YAML ที่แสดงรายการใบอนุญาต ชุดข้อมูลการฝึกอบรม ภาษา และผลลัพธ์การวัดประสิทธิภาพ และผู้ใช้สามารถกรองผลการค้นหาตามฟิลด์เหล่านั้นได้
ทีมวิจัยเผยแพร่ชุดข้อมูลคำพูดพร้อมแผ่นข้อมูลที่บันทึกความยินยอมของผู้พูด เงื่อนไขในการบันทึก และสำเนียงที่มีการนำเสนอน้อยเกินไป
ห้องปฏิบัติการ AI เผยแพร่การ์ดระบบสำหรับแชทบอตที่อธิบายผลลัพธ์ของทีมสีแดง การบรรเทาด้านความปลอดภัย และความเสี่ยงที่เหลืออยู่ นอกเหนือจากที่การ์ดโมเดลพื้นฐานครอบคลุม
เอกสารประกอบกำลังเปลี่ยนจากแนวปฏิบัติที่ดีที่สุดโดยสมัครใจไปสู่ข้อกำหนดการปฏิบัติตามข้อกำหนด กฎหมาย AI ของสหภาพยุโรป กฎการจัดซื้อจัดจ้าง และมาตรฐาน เช่น ISO/IEC 42001 ล้วนคาดหวังบันทึกที่มีโครงสร้างเกี่ยวกับวิธีการสร้างและทดสอบระบบ รูปแบบที่เครื่องอ่านได้และการสร้างอัตโนมัติมีแนวโน้มที่จะกลายเป็นเรื่องปกติมากขึ้น เพื่อให้สามารถตรวจสอบและเปรียบเทียบการ์ดได้ ความท้าทายที่กำลังดำเนินอยู่คือการรักษาเอกสารให้ถูกต้องแม่นยำเมื่อมีการอัปเดตแบบจำลอง การเปิดเผยข้อมูลการฝึกอบรมอย่างเพียงพอโดยไม่เปิดเผยความลับทางการค้าหรือข้อมูลส่วนบุคคล และทำให้แน่ใจว่าผู้อ่านใช้เอกสารนั้นจริงในการตัดสินใจ
จดหมายข่าวฟรี
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
การ์ดโมเดลเป็นเอกสารที่มีโครงสร้างสั้นๆ ซึ่งอธิบายว่าโมเดล AI มีไว้เพื่ออะไร มีการประเมินอย่างไร ทำงานได้ดีเพียงใดสำหรับกลุ่มและเงื่อนไขต่างๆ และจุดใดที่ไม่ควรใช้ แผ่นข้อมูลสำหรับชุดข้อมูลจะเหมือนกันสำหรับข้อมูลการฝึกอบรม: เหตุใดข้อมูลจึงถูกรวบรวม ข้อมูลที่มีอยู่ วิธีการรวบรวมและติดป้ายกำกับ และวิธีดูแลรักษาข้อมูล เอกสารเหล่านี้มีความสำคัญเนื่องจากช่วยให้ผู้ซื้อ ผู้ใช้ ผู้ตรวจสอบบัญชี และหน่วยงานกำกับดูแลตัดสินว่าระบบเหมาะสมกับวัตถุประสงค์หรือไม่ และกฎหมาย เช่น พระราชบัญญัติ AI ของสหภาพยุโรป จำเป็นต้องมีเอกสารที่คล้ายกันในขณะนี้
การ์ดโมเดลให้สิ่งที่ผู้อ่านต้องการในการตัดสินว่าโมเดลเหมาะกับการใช้งานเฉพาะหรือไม่ รวมถึงส่วนที่ทำงานได้ไม่ดีด้วย
Margaret Mitchell และเพื่อนร่วมงานนำเสนอ "การ์ดโมเดลสำหรับการรายงานโมเดล" ที่ ACM FAT* ในปี 2019
การแยกผลลัพธ์ตามกลุ่มย่อยจะทำให้เกิดความล้มเหลวที่ค่าเฉลี่ยโดยรวมจะซ่อนไว้
ชิ้นส่วนอิเล็กทรอนิกส์มาพร้อมกับเอกสารข้อมูลที่อธิบายลักษณะเฉพาะของชิ้นส่วนเหล่านั้น Gebru และเพื่อนร่วมงานนำแนวคิดดังกล่าวไปใช้กับชุดข้อมูล
การ์ดระบบ เช่น OpenAI สำหรับ GPT-4 อธิบายถึงความเสี่ยงของผลิตภัณฑ์ที่ใช้งาน Red-teaming และการป้องกัน
เรียนรู้ต่อไป
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้
ต่อไปคำแนะนำต่อไป
การปรับแต่งโมเดลการฝังอย่างละเอียดเพื่อการดึงข้อมูล
เทคนิค