คู่มือทางเทคนิค
การถดถอย Softmax สำหรับการจำแนกประเภทหลายคลาส
การถดถอย Softmax ขยายการถดถอยโลจิสติกไปยังคลาสที่ไม่เกิดร่วมกันโดยการกำหนดคะแนนให้แต่ละคลาส และแปลงคะแนนทั้งหมดให้เป็นความน่าจะเป็นที่รวมเป็นหนึ่ง
ฟังคำแนะนำนี้บรรยายโดย AI · ~3 min
บนหน้านี้อ่าน 3 นาที
ภาพรวม
โดยให้กฎการตัดสินใจเชิงเส้นที่สามารถตีความได้ในระดับคะแนน แม้ว่าคุณภาพความน่าจะเป็นและพฤติกรรมเฉพาะชั้นเรียนยังคงต้องมีการประเมิน
เจาะลึก
ในการถดถอยลอจิสติกแบบไบนารี คะแนนเชิงเส้นจะถูกแปลงเป็นความน่าจะเป็น สำหรับคลาส K ที่ไม่เกิดร่วมกัน การถดถอยแบบ softmax จะกำหนดหนึ่งคะแนนให้กับแต่ละคลาส แต่ละคะแนนเป็นฟังก์ชันเชิงเส้นของอินพุต และ softmax จะยกกำลังคะแนนเหล่านั้นและหารแต่ละค่ายกกำลังด้วยผลรวม สิ่งนี้สร้างความน่าจะเป็นคลาสที่ไม่เป็นลบซึ่งรวมเป็นหนึ่ง โดยทั่วไปคลาสที่ทำนายไว้จะเป็นคลาสที่มีความน่าจะเป็นมากที่สุด แต่ระบบการตัดสินใจอาจใช้ต้นทุนหรือเกณฑ์การทบทวนแทน สมมติว่ากรณีสามระดับสมมุติมีคะแนน 2, 1 และ 0 ค่าเลขชี้กำลังมีค่าประมาณ 7.39, 2.72 และ 1 ผลรวมคือประมาณ 11.11 ดังนั้นความน่าจะเป็นจะอยู่ที่ประมาณ 0.665, 0.245 และ 0.090 ค่าจะรวมกันเป็นหนึ่งเพราะแต่ละค่าถูกทำให้เป็นมาตรฐานด้วยตัวส่วนเดียวกัน ความแตกต่างของคะแนนมีความสำคัญ: การเพิ่มค่าคงที่เดียวกันให้กับคะแนนทุกชั้นเรียนจะทำให้ความน่าจะเป็นไม่เปลี่ยนแปลง โดยทั่วไปการฝึกอบรมจะลดเอนโทรปีข้ามพหุนามหรือที่เรียกว่าการสูญเสียบันทึก ซึ่งจะลงโทษการกำหนดความน่าจะเป็นต่ำให้กับคลาสที่สังเกตได้ อาจมีการเพิ่มการทำให้เป็นมาตรฐานเพื่อควบคุมขนาดสัมประสิทธิ์ ด้วยคลาสหลายคลาส การใช้งานอาจทำให้ค่าสัมประสิทธิ์กำหนดพารามิเตอร์ต่างกัน และซอฟต์แวร์บางตัวใช้กลยุทธ์แบบหนึ่งเทียบกับที่เหลือสำหรับตัวประมาณค่าเฉพาะ อ่านเอกสารประกอบของตัวประมาณค่าที่เลือก ก่อนที่จะถือว่าโมเดลลอจิสติกแบบหลายคลาสทั้งหมดปรับวัตถุประสงค์เดียวกันให้เหมาะสม ความน่าจะเป็นของ Softmax จะไม่ถูกปรับเทียบโดยอัตโนมัติ แบบจำลองอาจจัดอันดับคลาสที่มีแนวโน้มมากที่สุดอย่างถูกต้องในขณะที่มีความมั่นใจมากเกินไปหรือมั่นใจน้อยเกินไปอย่างเป็นระบบ ประเมินการเรียกคืนและความแม่นยำในระดับคลาส เมทริกซ์ความสับสน การสูญเสียบันทึก และการสอบเทียบข้อมูลที่สะท้อนถึงจำนวนประชากรที่ใช้งาน สำหรับคลาสที่ไม่สมดุล คะแนนความแม่นยำโดยรวมสามารถซ่อนความล้มเหลวในผลลัพธ์ที่พบไม่บ่อยได้ ตรวจสอบด้วยว่าลำดับหมวดหมู่ในอาร์เรย์เอาต์พุตตรงกับป้ายกำกับคลาสของไลบรารี วิธีการนี้ถือว่าแต่ละกรณีได้รับหนึ่งคลาสจากชุดแบบจำลอง ปัญหาหลายฉลาก ซึ่งหลายฉลากสามารถเกิดขึ้นพร้อมกันได้ จำเป็นต้องมีสูตรผลลัพธ์ที่แตกต่างกัน
การใช้งานจริงในโลกแห่งความเป็นจริง
เครื่องจำแนกประเภทพืชตามสมมุติฐานจะกำหนดคะแนนให้กับสามสายพันธุ์จากการวัดใบ Softmax แปลงคะแนนเหล่านั้นให้เป็นความน่าจะเป็น เช่น 0.6, 0.3 และ 0.1 ซึ่งผลรวมเป็นหนึ่ง ความน่าจะเป็นที่ใหญ่ที่สุดจะทำให้ได้คลาสที่ทำนายไว้
โมเดล Triage การสนับสนุนส่งคืนความน่าจะเป็นสำหรับหมวดหมู่การเรียกเก็บเงิน การเข้าถึง และทางเทคนิค ผู้ตรวจสอบจะตรวจสอบความสับสนตามชั้นเรียน เนื่องจากความแม่นยำโดยรวมที่สูงสามารถปกปิดประสิทธิภาพที่อ่อนแอสำหรับหมวดหมู่ที่หายากได้
นักวิเคราะห์ตรวจสอบเอาต์พุต Predict_proba ของ scikit-learn ควบคู่ไปกับ class_ เพื่อยืนยันคอลัมน์ความน่าจะเป็นที่สอดคล้องกับชื่อหมวดหมู่ที่ต้องการ แทนที่จะอาศัยการเดาตำแหน่งคอลัมน์
ทีมจะปรับเทียบความน่าจะเป็นแบบหลายคลาสบนชุดที่จัดขึ้นก่อนที่จะใช้เพื่อจัดลำดับความสำคัญในการตรวจสอบด้วยตนเอง คลาสที่มีความน่าจะเป็นมากที่สุดไม่ใช่การทำนาย 70% ที่ได้รับการสอบเทียบอย่างดีโดยอัตโนมัติ
อนาคตของการถดถอย Softmax สำหรับการจำแนกประเภทหลายคลาส
ระบบมัลติคลาสสามารถรายงานคุณภาพความน่าจะเป็นได้โปร่งใสมากขึ้นโดยการจับคู่การคาดการณ์กับการตรวจสอบความน่าเชื่อถือในแต่ละคลาสและข้อมูลสรุปความสับสน ทีมควรตัดสินใจว่าผลลัพธ์จะขับเคลื่อนตัวเลือกอัตโนมัติรายการเดียว รายการที่ได้รับการจัดอันดับ หรือการตรวจสอบโดยมนุษย์ เนื่องจากการใช้งานแต่ละครั้งบ่งบอกถึงค่าความผิดพลาดที่แตกต่างกัน การตรวจสอบควรติดตามการผสมผสานชั้นเรียนและประสิทธิภาพในช่วงเวลาต่อมา โดยเฉพาะอย่างยิ่งเมื่อคำจำกัดความของหมวดหมู่เปลี่ยนแปลง การปรับปรุงซอฟต์แวร์อาจทำให้เข้าถึงการวินิจฉัยได้ง่ายขึ้น แต่ความน่าจะเป็นยังต้องมีการทดสอบในกรณีที่เป็นตัวแทน อินเทอร์เฟซที่ชัดเจนสามารถแสดงความไม่แน่นอนโดยไม่ต้องบอกว่าคลาสที่ชนะนั้นแน่นอนเพียงเพราะมันอยู่ในอันดับแรก
การนำไปปฏิบัติ
ทำไมมันถึงสำคัญ
- ต้นทุนและงบประมาณ. การตัดสินใจด้านสถาปัตยกรรมขับเคลื่อนประสิทธิภาพและต้นทุนการดำเนินงานเป็นเวลาหลายปี
- การตัดสินใจที่ชัดเจนยิ่งขึ้น. การศึกษาด้านเทคนิคช่วยให้ทีมเลือกกลุ่มที่เหมาะสม ไม่ใช่แค่กลุ่มใหม่ล่าสุด
- การควบคุมคุณภาพ. ตัวเลือกทางวิศวกรรมที่ดีกว่าจะช่วยลดเหตุการณ์ด้านความน่าเชื่อถือในการผลิต
ระวัง
- การเพิ่มประสิทธิภาพเกณฑ์มาตรฐานหนึ่งรายการสามารถซ่อนจุดอ่อนของระบบในวงกว้างได้
- ต้นทุนโครงสร้างพื้นฐานและการบำรุงรักษามักถูกประเมินต่ำไป
- ช่องว่างด้านความปลอดภัยและความสามารถในการสังเกตสามารถเพิ่มขึ้นได้เมื่อระบบมีความซับซ้อนมากขึ้น
ขั้นตอนต่อไป
- กำหนดเป้าหมายเวลาแฝง คุณภาพ และต้นทุนก่อนนำไปใช้งาน
- เกณฑ์มาตรฐานภายใต้สภาวะโหลดและข้อมูลจริง
- การตรวจสอบเครื่องมือเพื่อหาข้อผิดพลาด การเบี่ยงเบน และผลกระทบต่อผู้ใช้
- เตรียมเส้นทางการย้อนกลับและการตอบสนองต่อเหตุการณ์ก่อนปรับขนาด
สำรวจต่อไป
จดหมายข่าวฟรี
รับสรุป AI รายวัน
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
ทำแบบทดสอบ Softmax Regression สำหรับการแบ่งประเภทหลายคลาส
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
คำถามที่พบบ่อย
Softmax Regression สำหรับการจำแนกประเภทหลายคลาสคืออะไร
การถดถอย Softmax ขยายการถดถอยโลจิสติกไปยังคลาสที่ไม่เกิดร่วมกันโดยการกำหนดคะแนนให้แต่ละคลาส และแปลงคะแนนทั้งหมดให้เป็นความน่าจะเป็นที่รวมเป็นหนึ่ง โดยให้กฎการตัดสินใจเชิงเส้นที่สามารถตีความได้ในระดับคะแนน แม้ว่าคุณภาพความน่าจะเป็นและพฤติกรรมเฉพาะชั้นเรียนยังคงต้องมีการประเมิน
ความน่าจะเป็นของ softmax มีข้อจำกัดอะไรบ้างสำหรับหนึ่งกรณีในทุกคลาสที่มีโมเดล
Softmax จะหารคะแนนเอ็กซ์โปเนนเชียลเชิงบวกแต่ละรายการด้วยผลรวม ดังนั้นความน่าจะเป็นในคลาสต่างๆ จะรวมกันเป็นหนึ่ง
โมเดลสามคลาสส่งคืนความน่าจะเป็น 0.6, 0.3 และ 0.1 คลาสใดเป็นการทำนายความน่าจะเป็นสูงสุดตามปกติ
คลาสที่ทำนายตามปกติคือคลาสที่มีความน่าจะเป็นมากที่สุด แม้ว่าค่าใช้จ่ายในการตัดสินใจสามารถเปลี่ยนนโยบายได้
เหตุใดการเพิ่มค่าคงที่เดียวกันให้กับทุกคลาส logit จึงทำให้ความน่าจะเป็นของ softmax ไม่เปลี่ยนแปลง
การบวก c จะคูณเลขยกกำลังทั้งหมดด้วย exp(c) ซึ่งจะยกเลิกระหว่างการทำให้เป็นมาตรฐาน
สมมติฐานเอาต์พุตแบบรวมต่อหนึ่งมีความหมายเกี่ยวกับการตั้งค่าเป้าหมายอย่างไร
Softmax represents mutually exclusive class probabilities; multilabel outcomes require another formulation.
A classifier has high overall accuracy but weak recall for a rare category. Which report helps expose this?
Class-specific metrics show errors hidden by an aggregate dominated by common classes.
เรียนรู้ต่อไป
คำแนะนำที่เกี่ยวข้อง
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้