SıradakiSonraki rehber
FP8 ve Düşük Hassasiyetli Formatlar
Teknik
Teknik KILAVUZ
Ortalama Hassasiyet ve PR-AUC
Ortalama kesinlik, karar eşiklerinde hatırlama arttıkça modelin kesinliğini özetler.
Bu sayfada3 dakika okuma
Genel Bakış
Hassasiyet-geri çağırma eğrileri, pozitif vakaların nadir olduğu durumlarda faydalıdır, ancak ortalama hassasiyet ve bu eğrinin altındaki trapezoidal alan, açıkça adlandırılması gereken farklı hesaplamalardır.
Derin Dalış
Kesinlik, seçilen vakalardan kaçının pozitif olduğunu sorar. Geri çağırma, tüm pozitif vakalardan kaçının seçildiğini sorar. Bir modelin puan eşiği düştükçe seçilen kümeye daha fazla vaka girer. Eşik düştükçe hatırlama azalamaz ancak yeni dahil edilen vakalara bağlı olarak kesinlik artabilir veya düşebilir. Hassas bir geri çağırma eğrisi bu değiş tokuşu izler. Nadir bir pozitif sınıf için özellikle bilgilendiricidir çünkü seçilen öğelerin kaçının yanlış alarm olduğunu doğrudan ortaya çıkarır. Bir alıcı çalışma karakteristik eğrisi, paydası tüm gerçek negatifleri içeren yanlış pozitif oranı kullanarak farklı bir soruyu yanıtlar. Her iki görüş de gerçek karar maliyetlerini dikkate alma ihtiyacını ortadan kaldırmaz. Ortalama kesinlik, kesinlik değerlerini hatırlamadaki karşılık gelen artışlarla ağırlıklandırarak kesinlik-geri çağırma ilişkisini özetler. Eşit puanların olmadığı basit bir sıralamada, pozitif vakaların işgal ettiği sıralardaki ortalama kesinliğe eşittir. Yalnızca iki pozitifin birinci ve üçüncü göründüğünü varsayalım. Bu konumlardaki hassasiyet bir ve üçte ikidir, yani ortalama hassasiyet yaklaşık 0,833'tür. PR-AUC etiketi belirsiz olabilir. Bazı raporlar, geri çağırmaya karşı hassasiyetin yamuk şeklinde entegrasyonu anlamına gelir; diğerleri ortalama hassasiyet için bunu gevşek bir şekilde kullanır. Scikit-learn, ortalama_precision_score'u yamuk kuralını uygulayan auc'tan ayırır. Enterpolasyon varsayımları farklı olduğundan bu değerler farklılık gösterebilir. Gerçek hesaplamayı belirtin. Kesinlik, değerlendirme popülasyonundaki pozitiflerin yaygınlığına bağlıdır. Dengeli bir örnekten alınan puan, pozitif sonuçların nadir olduğu bir dağıtım ortamını tanımlamayabilir. Pozitif kesri ve değerlendirme tasarımını rapor edin. Son olarak, eşikler arası bir özet, bir işletim eşiği seçmez. Modelin fiilen kullanılacağı noktadaki hassasiyeti, geri çağırmayı ve iş yükünü inceleyin.
Stratejik Etki
Maliyet ve bütçe
Mimari kararlar yıllarca performansı ve işletme maliyetini etkiler.
Daha net kararlar
Teknik eğitim, ekiplerin yalnızca en yenisini değil, doğru yığını seçmesine de yardımcı olur.
Kalite kontrolü
Daha iyi mühendislik seçenekleri, üretimdeki güvenilirlik olaylarını azaltır.
Ortalama Hassasiyetin ve PR-AUC'nin Geleceği
Değerlendirme kontrol panelleri, pozitif yaygınlığı, kesin alan hesaplamasını ve pratik çalışma noktalarını özet puanının yanında göstererek sıralama ölçümlerini daha net hale getirebilir. Bir inceleme ekibi en çok sabit bir günlük kapasite içerisinde kaç tane yararlı vakanın ortaya çıktığıyla ilgilenirken, diğer bir ekibin minimum düzeyde geri çağırmaya ihtiyacı olabilir. Tahminlerin ve etiketlerin korunması, bu soruların modeli değiştirmeden yeniden gözden geçirilmesine olanak tanır. Popülasyonlar değiştikçe ekipler, daha önceki ortalama hassas sonuçların gelecekteki aynı iş yükünü veya kullanışlılığı garanti ettiğini varsaymak yerine, temsili veriler üzerindeki dengeyi yeniden değerlendirmelidir.
Gerçek Dünya Uygulaması
Bir inceleme kuyruğunda pek çok sıradan öğe ve birkaç ilgili öğe bulunur. Hassas hatırlama eğrisi, daha alakalı öğeler bulma ile incelemecilerden daha ilgisiz olanları incelemelerini isteme arasındaki dengeyi gösterir.
Eşit puanların olmadığı varsayımsal bir sıralamada, iki pozitif vaka birinci ve üçüncü sırada yer alıyor. Bu konumlardaki hassasiyet 1 ve üçte ikidir, yani ortalama hassasiyet yaklaşık 0,833'tür.
Bir ekip, etiketlerde ve tahmin puanlarında scikit-learn'in ortalama_precision_score'unu kullanır. Hangi sınıfın olumlu sayıldığını kaydeder ve değerlendirme öncesinde puanların zor kararlarla değiştirilmesini önler.
İki değerlendirme veri seti farklı oranlarda pozitif vaka içermektedir. Bir analist, kesinlik-geri çağırma sonuçlarını karşılaştırmadan önce bu oranları rapor eder, çünkü yaygınlık, kesinliğin nasıl yorumlanması gerektiğini değiştirir.
Riskler ve Korkuluklar
Bir kıyaslamayı optimize etmek daha geniş sistem zayıflıklarını gizleyebilir.
Altyapı ve bakım maliyetleri genellikle hafife alınır.
Sistemler karmaşıklaştıkça güvenlik ve gözlemlenebilirlik boşlukları büyüyebilir.
Uygulama Yol Haritası
Uygulamadan önce gecikmeyi, kaliteyi ve maliyet hedeflerini tanımlayın.
Gerçekçi yük ve veri koşulları altında kıyaslama yapın.
Hatalar, sapmalar ve kullanıcı etkisi için cihaz izleme.
Ölçeklendirmeden önce geri alma ve olay müdahale yollarını hazırlayın.
Keşfetmeye Devam Edin
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Average Precision and PR-AUC quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Sık sorulan sorular
Ortalama Hassasiyet ve PR-AUC nedir?
Ortalama kesinlik, karar eşiklerinde hatırlama arttıkça modelin kesinliğini özetler. Hassasiyet-geri çağırma eğrileri, pozitif vakaların nadir olduğu durumlarda faydalıdır, ancak ortalama hassasiyet ve bu eğrinin altındaki trapezoidal alan, açıkça adlandırılması gereken farklı hesaplamalardır.
Seçilen bir inceleme kuyruğu için hassasiyet hangi miktarı ölçer?
Hassasiyet seçilen setin saflığını ölçer; hatırlama, bulunan tüm pozitiflerin payını ölçer.
Eşitlik olmayan bir sıralamada, tek pozitifler birinci ve üçüncüdür. Aşağıdaki ortalama kesinlik hangisidir?
Kesinlik ilk pozitifte bir, ikincide üçte ikidir. Ortalamaları altıda beş, yani yaklaşık 0,833.
Trapez PR-AUC neden ortalama hassasiyetten farklı olabilir?
Ortalama hassasiyet, hassasiyeti geri çağırma artışlarıyla ağırlıklandırırken trapezoidal entegrasyon, farklı bir alan yapısı kullanarak eğri noktalarını birbirine bağlar.
Ortalama hassasiyet için gereken sıralama bilgilerini hangi girdiler korur?
Puanlar eşik değerleri üzerinden değerlendirme yapılmasına olanak sağlar. Zor kararlar yalnızca bir çalışma noktasını korur ve çoğu sıralama bilgisini göz ardı eder.
İki veri kümesi çok farklı pozitif sınıf yaygınlığına sahiptir. Hassas hatırlama puanlarının karşılaştırmasına ne eşlik etmelidir?
Kesinlik sınıf yaygınlığına bağlıdır, dolayısıyla popülasyonlar ve örnekleme şemaları gerekli bağlamdır.
Öğrenmeye devam et
İlgili kılavuzlar
Bu konu için daha fazla rehber seçildi