คู่มือพื้นฐาน

ROC Curves และ AUC

เส้นโค้ง ROC จะพล็อตว่าตัวแยกประเภทแยกสองชั้นออกจากทุกเกณฑ์การตัดสินใจที่เป็นไปได้ได้ดีเพียงใด และ AUC จะบีบอัดเส้นโค้งทั้งหมดให้เป็นตัวเลขเดียว

ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min

บนหน้านี้อ่าน 2 นาที
  1. ภาพรวม
  2. เจาะลึก
  3. การใช้งานจริงในโลกแห่งความเป็นจริง
  4. อนาคตของ ROC Curves และ AUC
  5. การนำไปปฏิบัติ
  6. สำรวจต่อไป
  7. คำถามที่พบบ่อย

ภาพรวม

Together they tell you ranking quality independent of where you draw the cutoff.

เจาะลึก

เส้นโค้งลักษณะการทำงานของตัวรับ (ROC) จะพล็อตอัตราผลบวกที่แท้จริง (ความไว บนแกน y) เทียบกับอัตราผลบวกลวง (1 ลบความจำเพาะ บนแกน x) ขณะที่คุณเลื่อนเกณฑ์การจำแนกประเภทจาก 1 ลงไปที่ 0 แต่ละเกณฑ์จะให้หนึ่งจุด เชื่อมต่อพวกมันตามรอยโค้ง โมเดลที่จัดอันดับทุกเชิงบวกเหนือทุกเชิงลบจะกอดมุมซ้ายบน พื้นที่ใต้เส้นโค้ง (AUC) วัดพื้นที่ทั้งหมดที่อยู่ใต้เส้นนี้ ตั้งแต่ 0.5 (การเดาแบบสุ่ม เส้นทแยงมุม) ถึง 1.0 (สมบูรณ์แบบ) การตีความที่สะดวก: AUC เท่ากับความน่าจะเป็นที่แบบจำลองให้คะแนนผลบวกที่เลือกแบบสุ่ม สูงกว่าผลลบที่เลือกแบบสุ่ม คำนี้มาจากผู้ควบคุมเรดาร์ของสงครามโลกครั้งที่สองที่แยกสัญญาณออกจากสัญญาณรบกวน

การใช้งานจริงในโลกแห่งความเป็นจริง

การเปรียบเทียบรูปแบบการตรวจจับการฉ้อโกงสองรูปแบบสำหรับธนาคารโดย AUC เพื่อเลือกรูปแบบที่จัดอันดับธุรกรรมการฉ้อโกงได้ดีที่สุดเหนือรูปแบบที่ถูกต้องตามกฎหมาย

การประเมินการทดสอบวินิจฉัยโรค (เช่น เครื่องแยกประเภทมะเร็ง) ซึ่งนักรังสีวิทยาจำเป็นต้องแลกกับการตรวจพบผู้ป่วยมากขึ้นกับการเตือนที่ผิดพลาด

การปรับเกณฑ์ของตัวกรองสแปมโดยใช้เส้นโค้ง ROC เพื่อรักษาผลบวกลวง (เมลที่ถูกต้องถูกตั้งค่าสถานะว่าเป็นสแปม) ต่ำมาก

การเปรียบเทียบรูปแบบการให้คะแนนสินเชื่อเริ่มต้นโดย AUC สรุปว่าแยกผู้กู้ที่ชำระหนี้ออกจากผู้ที่ผิดนัดได้ดีเพียงใด

อนาคตของ ROC Curves และ AUC

ROC-AUC ยังคงเป็นเมตริกการรายงานเริ่มต้น แต่ผู้ปฏิบัติงานจะจับคู่กับเส้นโค้ง Precision-Recall มากขึ้นเรื่อยๆ สำหรับข้อมูลที่ไม่สมดุลอย่างมาก โดยที่ ROC สามารถมองโลกในแง่ดีได้อย่างหลอกลวง คาดว่าจะมีการนำ AUC บางส่วนไปใช้ในวงกว้างขึ้น (มุ่งเน้นไปที่ภูมิภาคที่มีผลบวกลวงต่ำซึ่งมีความสำคัญในการดำเนินงาน) การวิเคราะห์ที่คำนึงถึงต้นทุนและเส้นการตัดสินใจ และการรายงาน AUC ต่อกลุ่มย่อยเพื่อแสดงช่องว่างของความเป็นธรรม เนื่องจากโมเดลป้อนการตัดสินใจที่แท้จริง เมตริกการสอบเทียบและ AUC จะถูกรายงานเคียงข้างกันมากขึ้น แทนที่จะเป็น AUC เพียงอย่างเดียว

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • การตัดสินใจที่ชัดเจนยิ่งขึ้น. ช่วยให้คุณแยกคำกล่าวอ้างทางเทคนิคที่ชัดเจนออกจากภาษาทางการตลาดได้
  • ต้นทุนและงบประมาณ. คุณสามารถถามคำถามการใช้งานที่ดีขึ้นก่อนที่จะใช้เงินหรือเวลา
  • ทีมงานและขั้นตอนการทำงาน. ทีมที่มีความเข้าใจร่วมกันจะตัดสินใจเกี่ยวกับผลิตภัณฑ์ นโยบาย และการเรียนรู้ได้ดีขึ้น

ระวัง

  • แต่ละทีมอาจใช้คำเดียวกันต่างกัน ดังนั้นควรกำหนดขอบเขตตั้งแต่เนิ่นๆ
  • เกณฑ์มาตรฐานอาจดูแข็งแกร่งในขณะที่ประสิทธิภาพในโลกแห่งความเป็นจริงไม่เท่ากัน
  • การเพิกเฉยต่อคุณภาพข้อมูลและแผนการประเมินมักสร้างผลลัพธ์ที่เปราะบาง

ขั้นตอนต่อไป

  1. เริ่มต้นด้วยคำจำกัดความภาษาธรรมดาของผลลัพธ์ที่คุณต้องการ
  2. เลือกเมตริกวัดความสำเร็จหนึ่งรายการและเงื่อนไขความล้มเหลวหนึ่งรายการก่อนการทดสอบ
  3. ดำเนินการนำร่องขนาดเล็กด้วยข้อมูลตัวแทน ไม่ใช่ชุดสาธิตที่สวยงาม
  4. เอกสารที่ ROC Curves และ AUC ช่วยได้ และวิธีที่ง่ายกว่าจะดีกว่า

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

Take the ROC Curves and AUC quiz

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

What is ROC Curves and AUC?

เส้นโค้ง ROC จะพล็อตว่าตัวแยกประเภทแยกสองชั้นออกจากทุกเกณฑ์การตัดสินใจที่เป็นไปได้ได้ดีเพียงใด และ AUC จะบีบอัดเส้นโค้งทั้งหมดให้เป็นตัวเลขเดียว สิ่งเหล่านี้จะบอกคุณถึงคุณภาพการจัดอันดับโดยไม่ขึ้นอยู่กับจุดที่คุณตัดออก

เส้นโค้ง ROC ของปริมาณสองจำนวนใดที่พล็อตซึ่งกันและกัน

เส้นโค้ง ROC จะพล็อตอัตราผลบวกที่แท้จริง (ความไว) บนแกน y เทียบกับอัตราผลบวกลวง (1 - ความจำเพาะ) บนแกน x ข้ามเกณฑ์

ค่า AUC ใดที่สอดคล้องกับตัวจําแนกที่มีประสิทธิภาพไม่ดีไปกว่าการเดาแบบสุ่ม

ตัวแยกประเภทแบบสุ่มจะติดตามเส้นทแยงมุม โดยให้ AUC เท่ากับ 0.5 AUC ที่ 1.0 นั้นสมบูรณ์แบบ และ 0.0 หมายความว่าทุกอันดับจะถอยหลังทุกประการ

เหตุใด AUC จึงถูกอธิบายว่า 'ไม่ขึ้นอยู่กับเกณฑ์'

AUC สรุปเส้นโค้ง ROC ทั้งหมด ซึ่งสร้างขึ้นโดยการกวาดทุกเกณฑ์ ดังนั้นจึงไม่ได้ขึ้นอยู่กับจุดตัดที่เลือกเพียงจุดเดียว

สำหรับชุดข้อมูลที่ไม่สมดุลอย่างมาก เส้นโค้งใดที่มักแนะนำควบคู่ไปกับหรือแทน ROC เนื่องจาก ROC อาจมองในแง่ดีมากเกินไป

สำหรับปัญหาเชิงบวกที่หายาก ค่าลบจริงจำนวนมากจะทำให้อัตราผลบวกลวงต่ำ ซึ่งจะทำให้ ROC สูงขึ้น เส้นโค้ง Precision-Recall มุ่งเน้นไปที่คลาสเชิงบวกและเปิดเผยประสิทธิภาพอย่างตรงไปตรงมามากขึ้น

Why can a model have a high ROC-AUC but poorly calibrated probability estimates?

The guide notes that AUC depends on rank order and is insensitive to calibration; monotonic transformations can preserve rankings while altering the probability scale.

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →