คู่มือทางเทคนิค

ความไม่สมดุลของคลาสและการสุ่มตัวอย่างใหม่

ความไม่สมดุลของชั้นเรียนคือเมื่อผลลัพธ์หนึ่งมีมากกว่าผลลัพธ์อื่นอย่างมาก เช่น 99

ภาพรวม

ความไม่สมดุลของคลาสคือเมื่อผลลัพธ์หนึ่งมีจำนวนมากกว่าผลลัพธ์อื่นอย่างมาก เช่น ธุรกรรมที่ถูกต้องตามกฎหมาย 99.9% กับการฉ้อโกง 0.1% ซึ่งหลอกให้โมเดลละเลยคลาสที่หายากแต่สำคัญ การสุ่มตัวอย่างใหม่จะปรับสมดุลข้อมูลการฝึก เพื่อให้โมเดลเรียนรู้ที่จะมองเห็นส่วนน้อยได้จริง

ความไม่สมดุลของคลาสและการสุ่มตัวอย่างใหม่เป็นองค์ประกอบทางเทคนิคที่ส่งผลต่อคุณภาพของโมเดล ต้นทุนโครงสร้างพื้นฐาน เวลาแฝง และความน่าเชื่อถือในวงกว้าง

เจาะลึก

เมื่อคลาสบิดเบี้ยว โมเดลจะมีความแม่นยำถึง 99.9% โดยการคาดการณ์คนส่วนใหญ่เสมอ และไม่เคยตรวจพบการฉ้อโกงแม้แต่ครั้งเดียว ซึ่งไม่มีประโยชน์ การสุ่มตัวอย่างใหม่จะแก้ไขการกระจายการฝึกอบรมในสองวิธีกว้างๆ การสุ่มตัวอย่างมากเกินไป การทำซ้ำหรือสังเคราะห์ตัวอย่างชนกลุ่มน้อย — SMOTE แบบคลาสสิก (เทคนิคการสุ่มตัวอย่างมากเกินไปของชนกลุ่มน้อยสังเคราะห์) จะสร้างจุดใหม่ๆ โดยการประมาณค่าระหว่างตัวอย่างชนกลุ่มน้อยกับเพื่อนบ้านของชนกลุ่มน้อยที่ใกล้ที่สุด แทนที่จะคัดลอกพวกมัน การสุ่มตัวอย่างน้อยเกินไปแทนที่จะละทิ้งตัวอย่างส่วนใหญ่ (แบบสุ่มหรืออย่างชาญฉลาดผ่านวิธีการเช่นลิงก์ Tomek หรือ NearMiss) เพื่อลดขนาดลง โดยแลกกับการสูญเสียข้อมูล ทางเลือกอื่นที่หลีกเลี่ยงการแตะต้องข้อมูล ได้แก่ การถ่วงน้ำหนักของชั้นเรียน (ลงโทษข้อผิดพลาดส่วนน้อยมากขึ้นในฟังก์ชันการสูญเสีย) และการปรับเกณฑ์การตัดสินใจหลังการฝึกอบรม

ข้อมูลเชิงลึกทางเทคนิค

กฎที่สำคัญ: สุ่มตัวอย่างใหม่เฉพาะชุดการฝึก ห้ามใช้การตรวจสอบหรือชุดการทดสอบ และสุ่มตัวอย่างใหม่ภายในพับการตรวจสอบข้ามเสมอ การสุ่มตัวอย่างมากเกินไปก่อนที่จะแยกจุดรั่วจะทำให้จุดที่เกือบจะซ้ำกันลงในชุดทดสอบ และทำให้คะแนนเพิ่มขึ้น เนื่องจากความถูกต้องไม่มีความหมายที่นี่ การประเมินจึงควรอาศัยความแม่นยำ การเรียกคืน F1, Precision-Recall AUC หรือค่าสัมประสิทธิ์สหสัมพันธ์ของ Matthews ซึ่งเป็นตัวชี้วัดที่ยังคงความเที่ยงตรงเมื่อระดับเชิงบวกนั้นหาได้ยาก

ความไม่สมดุลของคลาสการเรียนรู้และการสุ่มตัวอย่างใหม่

ความไม่สมดุลของคลาสคือเมื่อผลลัพธ์หนึ่งมีจำนวนมากกว่าผลลัพธ์อื่นอย่างมาก เช่น ธุรกรรมที่ถูกต้องตามกฎหมาย 99.9% กับการฉ้อโกง 0.1% ซึ่งหลอกให้โมเดลละเลยคลาสที่หายากแต่สำคัญ การสุ่มตัวอย่างใหม่จะปรับสมดุลข้อมูลการฝึก เพื่อให้โมเดลเรียนรู้ที่จะมองเห็นส่วนน้อยได้จริง ความไม่สมดุลของคลาสและการสุ่มตัวอย่างใหม่เป็นองค์ประกอบทางเทคนิคที่ส่งผลต่อคุณภาพของโมเดล ต้นทุนโครงสร้างพื้นฐาน เวลาแฝง และความน่าเชื่อถือในวงกว้าง เพื่อสร้างความเข้าใจอย่างลึกซึ้ง ให้ถือว่าความไม่สมดุลของคลาสและการสุ่มตัวอย่างซ้ำเป็นรูปแบบการดำเนินงาน ไม่ใช่คุณลักษณะเดียว: กำหนดผลลัพธ์ที่ต้องการ ชี้แจงสมมติฐาน และแยกสิ่งที่ระบบสามารถทำได้อย่างน่าเชื่อถือจากสิ่งที่ยังคงต้องใช้วิจารณญาณจากผู้เชี่ยวชาญ

ในทางปฏิบัติ ทีมที่แข็งแกร่งที่ใช้ Class Imbalance และ Resampling จะปรับสถาปัตยกรรม ข้อมูล และตัวเลือกโครงสร้างพื้นฐานให้เหมาะสมโดยเทียบกับความน่าเชื่อถือและต้นทุน โดยจะบันทึกเกณฑ์ความสำเร็จที่ชัดเจน ทดสอบกับข้อมูลและขั้นตอนการทำงานที่สมจริง และทำซ้ำตามรูปแบบความล้มเหลวที่สังเกตได้ แทนที่จะชนะการวัดประสิทธิภาพเพียงครั้งเดียว นี่คือจุดที่ความเข้าใจทางทฤษฎีกลายเป็นความสามารถที่คงทนของผลิตภัณฑ์ นโยบาย และการดำเนินงาน

การตัดสินใจด้านสถาปัตยกรรมขับเคลื่อนประสิทธิภาพและต้นทุนการดำเนินงานเป็นเวลาหลายปี ในเวลาเดียวกัน การเพิ่มประสิทธิภาพเกณฑ์มาตรฐานหนึ่งรายการสามารถซ่อนจุดอ่อนของระบบในวงกว้างได้ แนวทางที่ยืดหยุ่นที่สุดคือการรวมความเร็วของการทดลองเข้ากับวินัยในการกำกับดูแล: ดำเนินการนำร่อง จับหลักฐาน เผยแพร่บันทึกการตัดสินใจ และอัปเดตการป้องกันอย่างต่อเนื่องเมื่อพฤติกรรมของโมเดล ความคาดหวังของผู้ใช้ และข้อกำหนดด้านกฎระเบียบมีการเปลี่ยนแปลง

ผลกระทบเชิงกลยุทธ์

การตัดสินใจด้านสถาปัตยกรรมขับเคลื่อนประสิทธิภาพและต้นทุนการดำเนินงานเป็นเวลาหลายปี

การตัดสินใจด้านสถาปัตยกรรมขับเคลื่อนประสิทธิภาพและต้นทุนการดำเนินงานเป็นเวลาหลายปี ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ

การศึกษาด้านเทคนิคช่วยให้ทีมเลือกกลุ่มที่เหมาะสม ไม่ใช่แค่กลุ่มใหม่ล่าสุด

การศึกษาด้านเทคนิคช่วยให้ทีมเลือกกลุ่มที่เหมาะสม ไม่ใช่แค่กลุ่มใหม่ล่าสุด ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ

ตัวเลือกทางวิศวกรรมที่ดีกว่าจะช่วยลดเหตุการณ์ด้านความน่าเชื่อถือในการผลิต

ตัวเลือกทางวิศวกรรมที่ดีกว่าจะช่วยลดเหตุการณ์ด้านความน่าเชื่อถือในการผลิต ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ

อนาคตของความไม่สมดุลของคลาสและการสุ่มตัวอย่างใหม่

การสุ่มตัวอย่างซ้ำจะเป็นไปโดยอัตโนมัติมากขึ้นภายในไปป์ไลน์ ML โดยที่ไลบรารี เช่น imbalanced-learn จะผสานรวมเข้ากับการตรวจสอบข้ามโดยตรง การวิจัยกำลังเปลี่ยนไปสู่การเรียนรู้ที่คำนึงถึงต้นทุนและฟังก์ชันการสูญเสียที่ได้รับการปรับแต่ง เช่น การสูญเสียโฟกัส ซึ่งลดน้ำหนักลงในตัวอย่างส่วนใหญ่ที่ง่ายดาย ซึ่งมักจะมีประสิทธิภาพดีกว่าการสุ่มตัวอย่างแบบหยาบบนเครือข่ายระดับลึก สำหรับข้อมูลแบบตารางและรูปภาพ แบบจำลองกำเนิดที่สังเคราะห์ตัวอย่างชนกลุ่มน้อยที่สมจริงกำลังกลายเป็นตัวตายตัวแทนที่ซับซ้อนมากขึ้นในการแก้ไขแบบ SMOTE

การใช้งานจริงในโลกแห่งความเป็นจริง

ฝึกอบรมเครื่องมือตรวจจับการฉ้อโกงบัตรเครดิตที่มีการฉ้อโกงที่แท้จริงน้อยกว่า 1% ของธุรกรรม โดยใช้ SMOTE เพื่อขยายกรณีการฉ้อโกงที่เกิดขึ้นได้ยาก

สร้างแบบจำลองทางการแพทย์สำหรับโรคหายากที่มีผู้ป่วยเพียงไม่กี่เปอร์เซ็นต์ ใช้น้ำหนักชั้นเรียนเพื่อให้กรณีพลาดถูกลงโทษอย่างหนัก

การตรวจจับสินค้าที่มีข้อบกพร่องในสายการผลิตที่ผลิตภัณฑ์เกือบทั้งหมดผ่านการตรวจสอบ โดยสุ่มตัวอย่างสินค้าที่ 'ดี' ต่ำกว่าเพื่อสร้างความสมดุลในการฝึกอบรม

ทำเครื่องหมายการบุกรุกเครือข่ายที่เกิดขึ้นได้ยากในบันทึกความปลอดภัยทางไซเบอร์ที่ถูกครอบงำโดยการรับส่งข้อมูลปกติ ประเมินด้วย Precision-Recall AUC แทนที่จะเป็นความแม่นยำ

รูปแบบการดำเนินงาน

ความไม่สมดุลของคลาสและการสุ่มตัวอย่างในทางปฏิบัติ

ฝึกอบรมเครื่องมือตรวจจับการฉ้อโกงบัตรเครดิตที่มีการฉ้อโกงจริงน้อยกว่า 1% ของธุรกรรม โดยใช้ SMOTE เพื่อขยายกรณีการฉ้อโกงที่เกิดขึ้นไม่บ่อยนัก

การฝึกอบรมเครื่องมือตรวจจับการฉ้อโกงด้วยบัตรเครดิตที่มีการฉ้อโกงอย่างแท้จริงต่ำกว่า 1% ของธุรกรรม โดยใช้ SMOTE เพื่อขยายกรณีการฉ้อโกงที่เกิดขึ้นได้ยาก ทีมมักจะได้รับผลลัพธ์ที่ดีกว่าเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพการทำงานที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป

ความไม่สมดุลของคลาสและการสุ่มตัวอย่างในทางปฏิบัติ

การสร้างแบบจำลองทางการแพทย์สำหรับโรคหายากที่เกิดขึ้นในผู้ป่วยเพียงไม่กี่เปอร์เซ็นต์ โดยใช้น้ำหนักของชั้นเรียน ดังนั้นกรณีที่พลาดจะถูกลงโทษอย่างหนัก

การสร้างแบบจำลองทางการแพทย์สำหรับโรคหายากที่มีอยู่ในผู้ป่วยเพียงไม่กี่เปอร์เซ็นต์ การใช้น้ำหนักของชั้นเรียน ดังนั้นกรณีที่พลาดจะถูกลงโทษอย่างหนัก ทีมมักจะได้รับผลลัพธ์ที่ดีกว่าเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับของมนุษย์สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพการทำงานที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป

ความไม่สมดุลของคลาสและการสุ่มตัวอย่างในทางปฏิบัติ

การตรวจจับสินค้าที่มีข้อบกพร่องในสายการผลิตซึ่งผลิตภัณฑ์เกือบทั้งหมดผ่านการตรวจสอบ โดยสุ่มตัวอย่างสินค้าที่ 'ดี' ต่ำกว่าเพื่อสร้างความสมดุลในการฝึกอบรม

การตรวจจับสินค้าที่มีข้อบกพร่องในสายการผลิตที่ผลิตภัณฑ์เกือบทั้งหมดผ่านการตรวจสอบ การสุ่มตัวอย่างสินค้าที่ 'ดี' น้อยกว่าเพื่อสร้างสมดุลในการฝึกอบรม ทีมมักจะได้รับผลลัพธ์ที่ดีกว่าเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพการผลิตที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป

ความไม่สมดุลของคลาสและการสุ่มตัวอย่างในทางปฏิบัติ

แจ้งการบุกรุกเครือข่ายที่เกิดขึ้นได้ยากในบันทึกความปลอดภัยทางไซเบอร์ที่ถูกครอบงำโดยการรับส่งข้อมูลปกติ ประเมินด้วย Precision-Recall AUC แทนที่จะเป็นความแม่นยำ

การแจ้งการละเมิดเครือข่ายที่เกิดขึ้นได้ยากในบันทึกความปลอดภัยทางไซเบอร์ที่ถูกครอบงำโดยการรับส่งข้อมูลปกติ ประเมินด้วย Precision-Recall AUC แทนความแม่นยำ ทีมมักจะได้รับผลลัพธ์ที่ดีกว่าเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพการทำงานที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป

ความเสี่ยงและรั้ว

!

การเพิ่มประสิทธิภาพเกณฑ์มาตรฐานหนึ่งรายการสามารถซ่อนจุดอ่อนของระบบในวงกว้างได้

!

ต้นทุนโครงสร้างพื้นฐานและการบำรุงรักษามักถูกประเมินต่ำไป

!

ช่องว่างด้านความปลอดภัยและความสามารถในการสังเกตสามารถเพิ่มขึ้นได้เมื่อระบบมีความซับซ้อนมากขึ้น

แผนงานการดำเนินงาน

1

กำหนดเป้าหมายเวลาแฝง คุณภาพ และต้นทุนก่อนนำไปใช้งาน

กำหนดเป้าหมายเวลาแฝง คุณภาพ และต้นทุนก่อนนำไปใช้งาน ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น

2

เกณฑ์มาตรฐานภายใต้สภาวะโหลดและข้อมูลจริง

เกณฑ์มาตรฐานภายใต้สภาวะโหลดและข้อมูลจริง ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น

3

การตรวจสอบเครื่องมือเพื่อหาข้อผิดพลาด การเบี่ยงเบน และผลกระทบต่อผู้ใช้

การตรวจสอบเครื่องมือเพื่อหาข้อผิดพลาด การเบี่ยงเบน และผลกระทบต่อผู้ใช้ ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น

4

เตรียมเส้นทางการย้อนกลับและการตอบสนองต่อเหตุการณ์ก่อนปรับขนาด

เตรียมเส้นทางการย้อนกลับและการตอบสนองต่อเหตุการณ์ก่อนปรับขนาด ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น

สำรวจต่อไป