คู่มือทางเทคนิค

การ์ดโมเดลและเอกสารข้อมูลสำหรับชุดข้อมูล

การ์ดโมเดลเป็นเอกสารที่มีโครงสร้างสั้นๆ ซึ่งอธิบายว่าโมเดล AI มีไว้เพื่ออะไร มีการประเมินอย่างไร ทำงานได้ดีเพียงใดสำหรับกลุ่มและเงื่อนไขต่างๆ และจุดใดที่ไม่ควรใช้

ฟังคำแนะนำนี้บรรยายโดย AI · ~3 min

บนหน้านี้อ่าน 3 นาที
  1. ภาพรวม
  2. เจาะลึก
  3. การใช้งานจริงในโลกแห่งความเป็นจริง
  4. อนาคตของการ์ดโมเดลและเอกสารข้อมูลสำหรับชุดข้อมูล
  5. การนำไปปฏิบัติ
  6. สำรวจต่อไป
  7. คำถามที่พบบ่อย

ภาพรวม

แผ่นข้อมูลสำหรับชุดข้อมูลจะเหมือนกันสำหรับข้อมูลการฝึกอบรม: เหตุใดข้อมูลจึงถูกรวบรวม ข้อมูลที่มีอยู่ วิธีการรวบรวมและติดป้ายกำกับ และวิธีดูแลรักษาข้อมูล เอกสารเหล่านี้มีความสำคัญเนื่องจากช่วยให้ผู้ซื้อ ผู้ใช้ ผู้ตรวจสอบบัญชี และหน่วยงานกำกับดูแลตัดสินว่าระบบเหมาะสมกับวัตถุประสงค์หรือไม่ และกฎหมาย เช่น พระราชบัญญัติ AI ของสหภาพยุโรป จำเป็นต้องมีเอกสารที่คล้ายกันในขณะนี้

เจาะลึก

การ์ดโมเดลได้รับการเสนอโดย Margaret Mitchell และเพื่อนร่วมงานในรายงาน "การ์ดโมเดลสำหรับการรายงานโมเดล" ซึ่งนำเสนอในการประชุม ACM FAT* ในปี 2019 ส่วนที่แนะนำ ได้แก่ รายละเอียดโมเดล การใช้งานตามวัตถุประสงค์ ปัจจัย (เช่น สภาวะทางประชากรหรือสภาพแวดล้อม) ตัวชี้วัด ข้อมูลการประเมิน ข้อมูลการฝึกอบรม การวิเคราะห์เชิงปริมาณ ข้อพิจารณาด้านจริยธรรม และคำเตือนและคำแนะนำ แนวคิดหลักคือการประเมินแบบแยกส่วน: การรายงานประสิทธิภาพแยกกันสำหรับกลุ่มย่อยที่เกี่ยวข้อง แทนที่จะเป็นคะแนนเฉลี่ยหนึ่งคะแนนที่สามารถซ่อนความล้มเหลวได้ เอกสารข้อมูลสำหรับชุดข้อมูลโดย Timnit Gebru และเพื่อนร่วมงาน เผยแพร่ครั้งแรกในปี 2018 และต่อมาได้รับการตีพิมพ์ใน Communications of the ACM มันยืมมาจากเอกสารข้อมูลอิเล็กทรอนิกส์ ผู้สร้างชุดข้อมูลตอบคำถามเกี่ยวกับแรงจูงใจ องค์ประกอบ กระบวนการรวบรวม การประมวลผลล่วงหน้าและการติดฉลาก การใช้ การแจกจ่าย และการบำรุงรักษา รูปแบบที่เกี่ยวข้องประกอบด้วยคำสั่งข้อมูลสำหรับชุดข้อมูลภาษาและการ์ดข้อมูล การ์ดระบบซึ่งใช้โดย Meta และ OpenAI ตั้งแต่ปี 2022 และโดดเด่นสำหรับ GPT-4 ในปี 2023 บันทึกระบบที่ใช้งานทั้งหมด รวมถึงการทดสอบความปลอดภัยและการบรรเทาผลกระทบ แทนที่จะเป็นเพียงโมเดลเท่านั้น กฎระเบียบได้เปลี่ยนแนวทางปฏิบัตินี้ให้กลายเป็นข้อกำหนด พระราชบัญญัติ AI ของสหภาพยุโรปกำหนดให้ต้องมีเอกสารทางเทคนิคสำหรับระบบ AI ที่มีความเสี่ยงสูง ตามที่ระบุไว้ในภาคผนวก IV ผู้ให้บริการโมเดล AI สำหรับใช้งานทั่วไปจะต้องเก็บเอกสารทางเทคนิค ให้ข้อมูลแก่ผู้ให้บริการขั้นปลาย และเผยแพร่สรุปเนื้อหาการฝึกอบรมโดยใช้เทมเพลตคอมมิชชัน ความเข้าใจผิดที่พบบ่อยคือการ์ดโมเดลพิสูจน์ว่าโมเดลนั้นปลอดภัย เป็นการเปิดเผย ไม่ใช่การรับรอง และการ์ดอาจไม่สมบูรณ์ ล้าสมัย หรือเป็นลายลักษณ์อักษรได้เหมือนกับการตลาด คุณค่าของมันขึ้นอยู่กับข้อจำกัดและการประเมินโดยสุจริตที่บุคคลอื่นสามารถทำซ้ำได้

การใช้งานจริงในโลกแห่งความเป็นจริง

โรงพยาบาลที่ทำการประเมินเครื่องแยกประเภทรอยโรคที่ผิวหนังจะอ่านการ์ดโมเดลและพบว่ามีการรายงานความแม่นยำแยกกันตามสีผิว จากนั้นจะตัดสินใจดำเนินการตรวจสอบความถูกต้องในเครื่องของตนเองก่อนใช้งาน

พื้นที่เก็บข้อมูลโมเดล Hugging Face แสดงการ์ดโมเดลพร้อมข้อมูลเมตา YAML ที่แสดงรายการใบอนุญาต ชุดข้อมูลการฝึกอบรม ภาษา และผลลัพธ์การวัดประสิทธิภาพ และผู้ใช้สามารถกรองผลการค้นหาตามฟิลด์เหล่านั้นได้

ทีมวิจัยเผยแพร่ชุดข้อมูลคำพูดพร้อมแผ่นข้อมูลที่บันทึกความยินยอมของผู้พูด เงื่อนไขในการบันทึก และสำเนียงที่มีการนำเสนอน้อยเกินไป

ห้องปฏิบัติการ AI เผยแพร่การ์ดระบบสำหรับแชทบอตที่อธิบายผลลัพธ์ของทีมสีแดง การบรรเทาด้านความปลอดภัย และความเสี่ยงที่เหลืออยู่ นอกเหนือจากที่การ์ดโมเดลพื้นฐานครอบคลุม

อนาคตของการ์ดโมเดลและเอกสารข้อมูลสำหรับชุดข้อมูล

เอกสารประกอบกำลังเปลี่ยนจากแนวปฏิบัติที่ดีที่สุดโดยสมัครใจไปสู่ข้อกำหนดการปฏิบัติตามข้อกำหนด กฎหมาย AI ของสหภาพยุโรป กฎการจัดซื้อจัดจ้าง และมาตรฐาน เช่น ISO/IEC 42001 ล้วนคาดหวังบันทึกที่มีโครงสร้างเกี่ยวกับวิธีการสร้างและทดสอบระบบ รูปแบบที่เครื่องอ่านได้และการสร้างอัตโนมัติมีแนวโน้มที่จะกลายเป็นเรื่องปกติมากขึ้น เพื่อให้สามารถตรวจสอบและเปรียบเทียบการ์ดได้ ความท้าทายที่กำลังดำเนินอยู่คือการรักษาเอกสารให้ถูกต้องแม่นยำเมื่อมีการอัปเดตแบบจำลอง การเปิดเผยข้อมูลการฝึกอบรมอย่างเพียงพอโดยไม่เปิดเผยความลับทางการค้าหรือข้อมูลส่วนบุคคล และทำให้แน่ใจว่าผู้อ่านใช้เอกสารนั้นจริงในการตัดสินใจ

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • ต้นทุนและงบประมาณ. การตัดสินใจด้านสถาปัตยกรรมขับเคลื่อนประสิทธิภาพและต้นทุนการดำเนินงานเป็นเวลาหลายปี
  • การตัดสินใจที่ชัดเจนยิ่งขึ้น. การศึกษาด้านเทคนิคช่วยให้ทีมเลือกกลุ่มที่เหมาะสม ไม่ใช่แค่กลุ่มใหม่ล่าสุด
  • การควบคุมคุณภาพ. ตัวเลือกทางวิศวกรรมที่ดีกว่าจะช่วยลดเหตุการณ์ด้านความน่าเชื่อถือในการผลิต

ระวัง

  • การเพิ่มประสิทธิภาพเกณฑ์มาตรฐานหนึ่งรายการสามารถซ่อนจุดอ่อนของระบบในวงกว้างได้
  • ต้นทุนโครงสร้างพื้นฐานและการบำรุงรักษามักถูกประเมินต่ำไป
  • ช่องว่างด้านความปลอดภัยและความสามารถในการสังเกตสามารถเพิ่มขึ้นได้เมื่อระบบมีความซับซ้อนมากขึ้น

ขั้นตอนต่อไป

  1. กำหนดเป้าหมายเวลาแฝง คุณภาพ และต้นทุนก่อนนำไปใช้งาน
  2. เกณฑ์มาตรฐานภายใต้สภาวะโหลดและข้อมูลจริง
  3. การตรวจสอบเครื่องมือเพื่อหาข้อผิดพลาด การเบี่ยงเบน และผลกระทบต่อผู้ใช้
  4. เตรียมเส้นทางการย้อนกลับและการตอบสนองต่อเหตุการณ์ก่อนปรับขนาด

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

Take the Model Cards and Datasheets for Datasets quiz

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

การ์ดโมเดลและเอกสารข้อมูลสำหรับชุดข้อมูลคืออะไร

การ์ดโมเดลเป็นเอกสารที่มีโครงสร้างสั้นๆ ซึ่งอธิบายว่าโมเดล AI มีไว้เพื่ออะไร มีการประเมินอย่างไร ทำงานได้ดีเพียงใดสำหรับกลุ่มและเงื่อนไขต่างๆ และจุดใดที่ไม่ควรใช้ แผ่นข้อมูลสำหรับชุดข้อมูลจะเหมือนกันสำหรับข้อมูลการฝึกอบรม: เหตุใดข้อมูลจึงถูกรวบรวม ข้อมูลที่มีอยู่ วิธีการรวบรวมและติดป้ายกำกับ และวิธีดูแลรักษาข้อมูล เอกสารเหล่านี้มีความสำคัญเนื่องจากช่วยให้ผู้ซื้อ ผู้ใช้ ผู้ตรวจสอบบัญชี และหน่วยงานกำกับดูแลตัดสินว่าระบบเหมาะสมกับวัตถุประสงค์หรือไม่ และกฎหมาย เช่น พระราชบัญญัติ AI ของสหภาพยุโรป จำเป็นต้องมีเอกสารที่คล้ายกันในขณะนี้

จุดประสงค์หลักของการ์ดโมเดลคืออะไร?

การ์ดโมเดลให้สิ่งที่ผู้อ่านต้องการในการตัดสินว่าโมเดลเหมาะกับการใช้งานเฉพาะหรือไม่ รวมถึงส่วนที่ทำงานได้ไม่ดีด้วย

ใครเป็นผู้นำกระดาษที่เสนอการ์ดโมเดล?

Margaret Mitchell และเพื่อนร่วมงานนำเสนอ "การ์ดโมเดลสำหรับการรายงานโมเดล" ที่ ACM FAT* ในปี 2019

การประเมินแบบแยกส่วนคืออะไร?

การแยกผลลัพธ์ตามกลุ่มย่อยจะทำให้เกิดความล้มเหลวที่ค่าเฉลี่ยโดยรวมจะซ่อนไว้

เอกสารข้อมูลสำหรับชุดข้อมูลยืมแนวคิดมาจากสาขาใด

ชิ้นส่วนอิเล็กทรอนิกส์มาพร้อมกับเอกสารข้อมูลที่อธิบายลักษณะเฉพาะของชิ้นส่วนเหล่านั้น Gebru และเพื่อนร่วมงานนำแนวคิดดังกล่าวไปใช้กับชุดข้อมูล

การ์ดระบบแตกต่างจากการ์ดรุ่นพื้นฐานอย่างไร

การ์ดระบบ เช่น OpenAI สำหรับ GPT-4 อธิบายถึงความเสี่ยงของผลิตภัณฑ์ที่ใช้งาน Red-teaming และการป้องกัน

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

ต่อไปคำแนะนำต่อไป

การปรับแต่งโมเดลการฝังอย่างละเอียดเพื่อการดึงข้อมูล

เทคนิค

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →