SıradakiSonraki rehber
Belge İncelemesinde Geri Çağırma, Kesinlik ve Kaçırma Testi
Teknik
Temel Bilgiler KILAVUZU
Hassasiyet ve Geri Çağırma
Hassasiyet ve geri çağırma, özellikle sınıflar dengesiz olduğunda, sınıflandırıcıları değerlendirmek için iki tamamlayıcı ölçümdür.
Bu kılavuzu dinleyinAI tarafından anlatılan · ~2 min
Bu sayfada2 dakika okuma
Genel Bakış
Birlikte, kesin doğruluğun neleri gizlediğini ortaya çıkarıyorlar; bir modelin pozitif tahminlerinin ne sıklıkla doğru olduğunu ve gerçekte kaç tane gerçek pozitif yakaladığını.
Derin Dalış
Bir model öğeleri olumlu olarak işaretlediğinde iki soru önemlidir. Precision şunu sorar: işaretlediğimiz her şeyin ne kadarı gerçekten olumluydu? Bu, gerçek pozitiflerin tahmin edilen tüm pozitiflere bölünmesine eşittir ve yanlış alarmları cezalandırır. Hatırlama (duyarlılık) şunu sorar: Oradaki tüm gerçek pozitiflerden kaçını yakaladık? Bu, gerçek pozitiflerin tüm gerçek pozitiflere bölünmesine eşittir ve kaçırılanları cezalandırır. Bunlar genellikle değiş tokuş edilir: Karar eşiğinin düşürülmesi daha fazla olumlu sonuç yakalar (daha yüksek hatırlama), ancak daha fazla önemsiz işaretler (daha düşük hassasiyet) ve bunun tersi de geçerlidir. Hangisine öncelik verileceği maliyetlere bağlıdır; bir spam filtresi kesinliği tercih eder (gerçek postayı çöpe atmayın), kanser ekranı ise hatırlamayı tercih eder (bir tümörü gözden kaçırmayın). Harmonik ortalamaları olan F1 puanı, her ikisini de tek bir sayı ile dengeler.
Gerçek Dünya Uygulaması
Spam filtreleri yüksek hassasiyete göre ayarlanır, böylece meşru e-postalar neredeyse hiçbir zaman yanlışlıkla spam klasörüne gönderilmez.
Tıbbi tarama testleri, gerçekten hastalığı olan hastaların kaçırılmasını önlemek için yüksek düzeyde hatırlamaya öncelik verir ve takip için daha fazla yanlış pozitifliği kabul eder.
Arama ve öneri sistemleri, sıralama kalitesini ölçmek için Precision@k'yi (en iyi k sonuçtan kaç tanesinin alakalı olduğunu) bildirir.
Sahtekarlık tespiti, hem yanlış alarmlar hem de kaçırılan sahtekarlıklar maliyetli olduğundan, F1 puanı aracılığıyla hassasiyeti ve hatırlamayı dengeler.
Hassasiyet ve Geri Çağırmanın Geleceği
Yapay zeka, tıbbi teşhis, içerik denetimi, sahtekarlık gibi yüksek riskli alanlara girdikçe, ekipler yalnızca doğruluk yerine giderek daha fazla hassasiyet ve geri çağırma (ve bunların eğrilerini) raporluyor ve eşikleri gerçek dünyadaki maliyetlere ve adalet kısıtlamalarına uyacak şekilde ayarlıyor. Grup başına hassaslık/geri çağırma denetimleri, demografik özellikler genelinde farklı hata oranlarının tespit edilmesinde standart hale geliyor. Paydaşların varsayılan 0,5 eşiğini kabul etmek yerine etkileşimli olarak çalışma noktalarını seçmesine olanak tanıyan daha zengin maliyete duyarlı ölçümler, kalibre edilmiş olasılıklar ve araçlar bekleyebilirsiniz.
Uygulamaya koymak
Neden önemli?
- Daha net kararlar. Açık teknik iddiaları pazarlama dilinden ayırmanıza yardımcı olur.
- Maliyet ve bütçe. Para veya zaman harcamadan önce daha iyi uygulama soruları sorabilirsiniz.
- Ekip ve iş akışı. Ortak anlayışa sahip ekipler daha iyi ürün, politika ve öğrenme kararları verir.
Dikkat edin
- Farklı ekipler aynı terimi farklı şekilde kullanabilir; bu nedenle kapsamı erken tanımlayın.
- Gerçek dünya performansı dengesizken karşılaştırmalar güçlü görünebilir.
- Veri kalitesini ve değerlendirme planlarını göz ardı etmek çoğu zaman hassas sonuçlar doğurur.
Sonraki adımlar
- İhtiyacınız olan sonucun sade bir dille tanımlanmasıyla başlayın.
- Test etmeden önce bir başarı ölçüsü ve bir başarısızlık koşulu seçin.
- Gösterişli bir demo seti yerine, temsili verilerle küçük bir pilot çalışma yürütün.
- Hassasiyet ve Geri Çağırma'nın nerede yardımcı olduğunu ve daha basit yöntemlerin nerede daha iyi olduğunu belgeleyin.
Keşfetmeye Devam Edin
Ücretsiz bülten
Günlük AI brifingini alın
Hafta içi her sabah sade İngilizce yazılmış, doğrulanmış üç yapay zeka hikayesi. Sonsuza kadar ücretsiz, reklam yok.
Hafta içi her gün bir e-posta. Tek tıklamayla aboneliğinizi iptal edin. Adresinizi asla satmayız veya paylaşmayız.
Kendinizi test edin
Take the Precision and Recall quiz
Her yanıtla ilgili anında geri bildirim ve bir kursu geçtiğinizde doğrulanabilir bir kimliğe sahip paylaşılabilir bir sertifika.
Ücretsiz AI eğitimini destekleyin. AI Understanding, bir 501(c)(3) kâr amacı gütmeyen kuruluştur; hiçbir zaman reklam yoktur, ödeme duvarı yoktur. Bağış yap
Sık sorulan sorular
Hassasiyet ve Geri Çağırma Nedir?
Hassasiyet ve geri çağırma, özellikle sınıflar dengesiz olduğunda, sınıflandırıcıları değerlendirmek için iki tamamlayıcı ölçümdür. Birlikte, kesin doğruluğun neleri gizlediğini ortaya çıkarıyorlar; bir modelin pozitif tahminlerinin ne sıklıkla doğru olduğunu ve gerçekte kaç tane gerçek pozitif yakaladığını.
Kesinlik hangi soruyu yanıtlıyor?
Kesinlik = TP / (TP + FP), modelin olumlu tahminlerinin doğruluğunu, yani olumlu bayrağın ne kadar güvenilir olduğunu ölçer.
On a fixed evaluation set, lowering a positive-class decision threshold usually produces which tradeoff?
Lowering the threshold expands or preserves the predicted-positive set. It may catch additional true positives and additional false positives; changes depend on which items cross the threshold.
Why can precision and recall reveal a weakness hidden by high accuracy on a dataset dominated by negatives?
Accuracy can be dominated by correct negative predictions. Precision and recall examine positive flags and missed positives using TP, FP, and FN.
Six of the top ten search results are relevant. What is precision@10 for that result list?
Precision@10 measures the relevant fraction among the top ten results: 6/10 = 60%.
Öğrenmeye devam et
İlgili kılavuzlar
Bu konu için daha fazla rehber seçildi