Rehber bağlantılı sınav · Orta Seviye

Olasılık Kalibrasyonu Testi

Kalibrasyon tanımlarını, güvenilirlik diyagramlarını, ECE'yi, sıcaklık ölçeklendirmesini ve doğrulama kalitesinin sınıflandırma doğruluğundan neden farklı olduğunu kontrol eder.

İlgili kılavuz yollarıOlasılık Kalibrasyonu
Soru 1 arasında 8

Bir model, %80 güvenli olarak etiketlediği tahminler arasında aşağıdaki olayın gerçekleşmesi durumunda iyi kalibre edilmiş demektir:

Her soruyu önizleyin8 sorular

Testi çözdüğünüzde cevaplar ve açıklamalar görünür.

  1. Bir model, %80 güvenli olarak etiketlediği tahminler arasında aşağıdaki olayın gerçekleşmesi durumunda iyi kalibre edilmiş demektir:
    • Zamanın yaklaşık %80'inde
    • zamanın %100'ü
    • Zamanın yaklaşık %20'sinde
    • Tam olarak bir kez
  2. Sıcaklık ölçeklendirmesi sinir ağının çıktılarına ne yapar?
    • Hangi sınıfın tahmin edildiğini değiştirir
    • Logitleri softmax'tan önce öğrenilmiş bir skalerle bölerek güveni ayarlar
    • Eğitim etiketlerine gürültü ekler
    • Ağı sıfırdan yeniden eğitir
  3. Bir güvenilirlik diyagramı neyi gösterir?
    • Döneme karşı eğitim kaybı
    • Model boyutuna karşı doğruluk
    • Tahmin edilen olasılık ve gözlemlenen frekans
    • Toplu iş boyutuna karşı öğrenme oranı
  4. Beklenen Kalibrasyon Hatası (ECE) önlemleri:
    • Modelin birinci sınıf doğruluğu
    • Modeldeki parametre sayısı
    • Gradyanların varyansı
    • Kutular arasında güven ve doğruluk arasındaki ağırlıklı ortalama fark
  5. Modern derin sinir ağları çoğunlukla şu şekilde tanımlanır:
    • Kendine aşırı güven
    • Kendine az güven
    • Varsayılan olarak mükemmel şekilde kalibre edilmiştir
    • Olasılıklar çıkarılamıyor
  6. Son derece hassas bir modelin neden hala kalibrasyona ihtiyacı olabilir?
    • Doğru modeller her zaman sıfır kalibrasyon hatasına sahiptir
    • Doğruluk ve kalibrasyon farklı özelliklerdir
    • Kalibrasyon yalnızca regresyon için önemlidir
    • Doğruluk dürüst olasılıkları garanti eder
  7. On which data is temperature scaling typically fit in the guide’s calibration workflow?
    • The final test set using classification accuracy
    • Only the training labels without model outputs
    • A held-out validation set using negative log-likelihood
    • The model’s hidden weights using mean squared error
  8. Why can temperature scaling improve calibration without changing top-1 accuracy?
    • It changes the model’s predicted class labels randomly
    • It retrains the feature extractor
    • It replaces every logit with the same value
    • Dividing logits by a positive scalar changes confidence but preserves their ordering