SıradakiSonraki rehber
Ortalama Hassasiyet ve PR-AUC
Teknik
Temel Bilgiler KILAVUZU
ROC Eğrileri ve AUC
ROC eğrisi, bir sınıflandırıcının olası her karar eşiğinde iki sınıfı ne kadar iyi ayırdığını gösterir ve AUC, bu eğrinin tamamını tek bir sayıya sıkıştırır.
Bu kılavuzu dinleyinAI tarafından anlatılan · ~2 min
Bu sayfada2 dakika okuma
Genel Bakış
Together they tell you ranking quality independent of where you draw the cutoff.
Derin Dalış
Alıcı Çalışma Karakteristiği (ROC) eğrisi, siz sınıflandırma eşiğini 1'den 0'a kaydırırken Gerçek Pozitif Oranını (y ekseninde hassasiyet) Yanlış Pozitif Oranına (x ekseninde 1 eksi özgüllük) karşı çizer. Her eşik bir puan verir; bunları birbirine bağlamak eğriyi takip eder. Her olumluyu her olumsuzun üstünde sıralayan bir model sol üst köşeyi kucaklıyor. Eğri Altındaki Alan (AUC), 0,5 (rastgele tahmin, çapraz) ile 1,0 (mükemmel) arasında değişen bu çizginin altındaki toplam alanı ölçer. Kullanışlı bir yorum: AUC, modelin rastgele seçilen bir pozitif puanın rastgele seçilen bir negatiften daha yüksek puan alma olasılığına eşittir. Terim, İkinci Dünya Savaşı radar operatörlerinin sinyali gürültüden ayırmasından gelmektedir.
Gerçek Dünya Uygulaması
Bir bankanın iki dolandırıcılık tespit modelini AUC değerlerine göre karşılaştırmak ve dolandırıcılık işlemlerini meşru işlemlerin üzerinde en iyi şekilde sıralayan modeli seçmek
Radyologların yanlış alarmlara karşı daha fazla vaka yakalamayı tercih etmesi gereken bir hastalık için teşhis testinin (örneğin, kanser tarama sınıflandırıcısı) değerlendirilmesi
Yanlış pozitifleri (spam olarak işaretlenen meşru postaları) çok düşük tutmak için ROC eğrisini kullanarak bir spam filtresinin eşiğini ayarlama
AUC'nin geri ödeme yapan borçluları temerrüde düşenlerden ne kadar iyi ayırdığını özetleyen bir kredi temerrüt puanlama modelinin karşılaştırılması
ROC Eğrilerinin ve AUC'nin Geleceği
ROC-AUC, varsayılan bir raporlama ölçütü olmaya devam ediyor, ancak uygulayıcılar, ROC'nin aldatıcı bir şekilde iyimser görünebileceği, aşırı derecede dengesiz veriler için bunu giderek daha fazla Hassasiyet-Geri Çağırma eğrileriyle eşleştiriyor. Kısmi AUC'nin (operasyonel olarak önemli olan düşük hatalı pozitif bölgeye odaklanarak), maliyete duyarlı ve karar eğrisi analizinin ve adalet boşluklarını ortaya çıkarmak için alt grup başına AUC raporlamasının daha geniş çapta benimsenmesini bekleyin. Modeller gerçek kararları besledikçe, kalibrasyon metrikleri ve AUC tek başına AUC yerine giderek daha fazla yan yana raporlanacak.
Uygulamaya koymak
Neden önemli?
- Daha net kararlar. Açık teknik iddiaları pazarlama dilinden ayırmanıza yardımcı olur.
- Maliyet ve bütçe. Para veya zaman harcamadan önce daha iyi uygulama soruları sorabilirsiniz.
- Ekip ve iş akışı. Ortak anlayışa sahip ekipler daha iyi ürün, politika ve öğrenme kararları verir.
Dikkat edin
- Farklı ekipler aynı terimi farklı şekilde kullanabilir; bu nedenle kapsamı erken tanımlayın.
- Gerçek dünya performansı dengesizken karşılaştırmalar güçlü görünebilir.
- Veri kalitesini ve değerlendirme planlarını göz ardı etmek çoğu zaman hassas sonuçlar doğurur.
Sonraki adımlar
- İhtiyacınız olan sonucun sade bir dille tanımlanmasıyla başlayın.
- Test etmeden önce bir başarı ölçüsü ve bir başarısızlık koşulu seçin.
- Gösterişli bir demo seti yerine, temsili verilerle küçük bir pilot çalışma yürütün.
- ROC Eğrileri ve AUC'nin nerede yardımcı olduğunu ve daha basit yöntemlerin nerede daha iyi olduğunu belgeleyin.
Keşfetmeye Devam Edin
Ücretsiz bülten
Günlük AI brifingini alın
Hafta içi her sabah sade İngilizce yazılmış, doğrulanmış üç yapay zeka hikayesi. Sonsuza kadar ücretsiz, reklam yok.
Hafta içi her gün bir e-posta. Tek tıklamayla aboneliğinizi iptal edin. Adresinizi asla satmayız veya paylaşmayız.
Kendinizi test edin
Take the ROC Curves and AUC quiz
Her yanıtla ilgili anında geri bildirim ve bir kursu geçtiğinizde doğrulanabilir bir kimliğe sahip paylaşılabilir bir sertifika.
Ücretsiz AI eğitimini destekleyin. AI Understanding, bir 501(c)(3) kâr amacı gütmeyen kuruluştur; hiçbir zaman reklam yoktur, ödeme duvarı yoktur. Bağış yap
Sık sorulan sorular
What is ROC Curves and AUC?
ROC eğrisi, bir sınıflandırıcının olası her karar eşiğinde iki sınıfı ne kadar iyi ayırdığını gösterir ve AUC, bu eğrinin tamamını tek bir sayıya sıkıştırır. Birlikte, sınırı nerede çizdiğinizden bağımsız olarak sıralama kalitesini söylerler.
Bir ROC eğrisi hangi iki miktarın birbirine karşı grafiğini çizer?
Bir ROC eğrisi, eşikler boyunca x ekseninde Yanlış Pozitif Oranına (1 - özgüllük) karşı y ekseninde Gerçek Pozitif Oranı (hassasiyet) grafiğini çizer.
Rastgele tahminden daha iyi performans göstermeyen bir sınıflandırıcıya hangi AUC değeri karşılık gelir?
Rastgele bir sınıflandırıcı çapraz çizgiyi izleyerek 0,5'lik bir AUC verir. 1,0'lık bir AUC mükemmeldir ve 0,0, her sıralamayı tam olarak geriye götürdüğü anlamına gelir.
AUC neden 'eşikten bağımsız' olarak tanımlanıyor?
AUC, her eşiğin taranmasıyla oluşturulan ROC eğrisinin tamamını özetler, dolayısıyla seçilen herhangi bir kesme noktasına bağlı değildir.
Oldukça dengesiz bir veri kümesi için, ROC aşırı iyimser görünebileceği için genellikle ROC'nin yanında veya yerine hangi eğri önerilir?
Nadir pozitif problemlerde çok sayıda gerçek negatif, Yanlış Pozitif Oranını düşük tutarak ROC'yi artırır. Hassasiyet-Geri Çağırma eğrileri pozitif sınıfa odaklanır ve performansı daha dürüst bir şekilde ortaya çıkarır.
Why can a model have a high ROC-AUC but poorly calibrated probability estimates?
The guide notes that AUC depends on rank order and is insensitive to calibration; monotonic transformations can preserve rankings while altering the probability scale.
Öğrenmeye devam et
İlgili kılavuzlar
Bu konu için daha fazla rehber seçildi