คู่มือพื้นฐาน
ROC Curves และ AUC
เส้นโค้ง ROC จะพล็อตว่าตัวแยกประเภทแยกสองชั้นออกจากทุกเกณฑ์การตัดสินใจที่เป็นไปได้ได้ดีเพียงใด และ AUC จะบีบอัดเส้นโค้งทั้งหมดให้เป็นตัวเลขเดียว
ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min
บนหน้านี้อ่าน 2 นาที
ภาพรวม
Together they tell you ranking quality independent of where you draw the cutoff.
เจาะลึก
เส้นโค้งลักษณะการทำงานของตัวรับ (ROC) จะพล็อตอัตราผลบวกที่แท้จริง (ความไว บนแกน y) เทียบกับอัตราผลบวกลวง (1 ลบความจำเพาะ บนแกน x) ขณะที่คุณเลื่อนเกณฑ์การจำแนกประเภทจาก 1 ลงไปที่ 0 แต่ละเกณฑ์จะให้หนึ่งจุด เชื่อมต่อพวกมันตามรอยโค้ง โมเดลที่จัดอันดับทุกเชิงบวกเหนือทุกเชิงลบจะกอดมุมซ้ายบน พื้นที่ใต้เส้นโค้ง (AUC) วัดพื้นที่ทั้งหมดที่อยู่ใต้เส้นนี้ ตั้งแต่ 0.5 (การเดาแบบสุ่ม เส้นทแยงมุม) ถึง 1.0 (สมบูรณ์แบบ) การตีความที่สะดวก: AUC เท่ากับความน่าจะเป็นที่แบบจำลองให้คะแนนผลบวกที่เลือกแบบสุ่ม สูงกว่าผลลบที่เลือกแบบสุ่ม คำนี้มาจากผู้ควบคุมเรดาร์ของสงครามโลกครั้งที่สองที่แยกสัญญาณออกจากสัญญาณรบกวน
การใช้งานจริงในโลกแห่งความเป็นจริง
การเปรียบเทียบรูปแบบการตรวจจับการฉ้อโกงสองรูปแบบสำหรับธนาคารโดย AUC เพื่อเลือกรูปแบบที่จัดอันดับธุรกรรมการฉ้อโกงได้ดีที่สุดเหนือรูปแบบที่ถูกต้องตามกฎหมาย
การประเมินการทดสอบวินิจฉัยโรค (เช่น เครื่องแยกประเภทมะเร็ง) ซึ่งนักรังสีวิทยาจำเป็นต้องแลกกับการตรวจพบผู้ป่วยมากขึ้นกับการเตือนที่ผิดพลาด
การปรับเกณฑ์ของตัวกรองสแปมโดยใช้เส้นโค้ง ROC เพื่อรักษาผลบวกลวง (เมลที่ถูกต้องถูกตั้งค่าสถานะว่าเป็นสแปม) ต่ำมาก
การเปรียบเทียบรูปแบบการให้คะแนนสินเชื่อเริ่มต้นโดย AUC สรุปว่าแยกผู้กู้ที่ชำระหนี้ออกจากผู้ที่ผิดนัดได้ดีเพียงใด
อนาคตของ ROC Curves และ AUC
ROC-AUC ยังคงเป็นเมตริกการรายงานเริ่มต้น แต่ผู้ปฏิบัติงานจะจับคู่กับเส้นโค้ง Precision-Recall มากขึ้นเรื่อยๆ สำหรับข้อมูลที่ไม่สมดุลอย่างมาก โดยที่ ROC สามารถมองโลกในแง่ดีได้อย่างหลอกลวง คาดว่าจะมีการนำ AUC บางส่วนไปใช้ในวงกว้างขึ้น (มุ่งเน้นไปที่ภูมิภาคที่มีผลบวกลวงต่ำซึ่งมีความสำคัญในการดำเนินงาน) การวิเคราะห์ที่คำนึงถึงต้นทุนและเส้นการตัดสินใจ และการรายงาน AUC ต่อกลุ่มย่อยเพื่อแสดงช่องว่างของความเป็นธรรม เนื่องจากโมเดลป้อนการตัดสินใจที่แท้จริง เมตริกการสอบเทียบและ AUC จะถูกรายงานเคียงข้างกันมากขึ้น แทนที่จะเป็น AUC เพียงอย่างเดียว
การนำไปปฏิบัติ
ทำไมมันถึงสำคัญ
- การตัดสินใจที่ชัดเจนยิ่งขึ้น. ช่วยให้คุณแยกคำกล่าวอ้างทางเทคนิคที่ชัดเจนออกจากภาษาทางการตลาดได้
- ต้นทุนและงบประมาณ. คุณสามารถถามคำถามการใช้งานที่ดีขึ้นก่อนที่จะใช้เงินหรือเวลา
- ทีมงานและขั้นตอนการทำงาน. ทีมที่มีความเข้าใจร่วมกันจะตัดสินใจเกี่ยวกับผลิตภัณฑ์ นโยบาย และการเรียนรู้ได้ดีขึ้น
ระวัง
- แต่ละทีมอาจใช้คำเดียวกันต่างกัน ดังนั้นควรกำหนดขอบเขตตั้งแต่เนิ่นๆ
- เกณฑ์มาตรฐานอาจดูแข็งแกร่งในขณะที่ประสิทธิภาพในโลกแห่งความเป็นจริงไม่เท่ากัน
- การเพิกเฉยต่อคุณภาพข้อมูลและแผนการประเมินมักสร้างผลลัพธ์ที่เปราะบาง
ขั้นตอนต่อไป
- เริ่มต้นด้วยคำจำกัดความภาษาธรรมดาของผลลัพธ์ที่คุณต้องการ
- เลือกเมตริกวัดความสำเร็จหนึ่งรายการและเงื่อนไขความล้มเหลวหนึ่งรายการก่อนการทดสอบ
- ดำเนินการนำร่องขนาดเล็กด้วยข้อมูลตัวแทน ไม่ใช่ชุดสาธิตที่สวยงาม
- เอกสารที่ ROC Curves และ AUC ช่วยได้ และวิธีที่ง่ายกว่าจะดีกว่า
สำรวจต่อไป
จดหมายข่าวฟรี
รับสรุป AI รายวัน
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
Take the ROC Curves and AUC quiz
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
คำถามที่พบบ่อย
What is ROC Curves and AUC?
เส้นโค้ง ROC จะพล็อตว่าตัวแยกประเภทแยกสองชั้นออกจากทุกเกณฑ์การตัดสินใจที่เป็นไปได้ได้ดีเพียงใด และ AUC จะบีบอัดเส้นโค้งทั้งหมดให้เป็นตัวเลขเดียว สิ่งเหล่านี้จะบอกคุณถึงคุณภาพการจัดอันดับโดยไม่ขึ้นอยู่กับจุดที่คุณตัดออก
เส้นโค้ง ROC ของปริมาณสองจำนวนใดที่พล็อตซึ่งกันและกัน
เส้นโค้ง ROC จะพล็อตอัตราผลบวกที่แท้จริง (ความไว) บนแกน y เทียบกับอัตราผลบวกลวง (1 - ความจำเพาะ) บนแกน x ข้ามเกณฑ์
ค่า AUC ใดที่สอดคล้องกับตัวจําแนกที่มีประสิทธิภาพไม่ดีไปกว่าการเดาแบบสุ่ม
ตัวแยกประเภทแบบสุ่มจะติดตามเส้นทแยงมุม โดยให้ AUC เท่ากับ 0.5 AUC ที่ 1.0 นั้นสมบูรณ์แบบ และ 0.0 หมายความว่าทุกอันดับจะถอยหลังทุกประการ
เหตุใด AUC จึงถูกอธิบายว่า 'ไม่ขึ้นอยู่กับเกณฑ์'
AUC สรุปเส้นโค้ง ROC ทั้งหมด ซึ่งสร้างขึ้นโดยการกวาดทุกเกณฑ์ ดังนั้นจึงไม่ได้ขึ้นอยู่กับจุดตัดที่เลือกเพียงจุดเดียว
สำหรับชุดข้อมูลที่ไม่สมดุลอย่างมาก เส้นโค้งใดที่มักแนะนำควบคู่ไปกับหรือแทน ROC เนื่องจาก ROC อาจมองในแง่ดีมากเกินไป
สำหรับปัญหาเชิงบวกที่หายาก ค่าลบจริงจำนวนมากจะทำให้อัตราผลบวกลวงต่ำ ซึ่งจะทำให้ ROC สูงขึ้น เส้นโค้ง Precision-Recall มุ่งเน้นไปที่คลาสเชิงบวกและเปิดเผยประสิทธิภาพอย่างตรงไปตรงมามากขึ้น
Why can a model have a high ROC-AUC but poorly calibrated probability estimates?
The guide notes that AUC depends on rank order and is insensitive to calibration; monotonic transformations can preserve rankings while altering the probability scale.
เรียนรู้ต่อไป
คำแนะนำที่เกี่ยวข้อง
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้