Kuis terkait panduan · Sedang Tingkat

Kuis Kalibrasi Probabilitas

Memeriksa definisi kalibrasi, diagram keandalan, ECE, skala suhu, dan mengapa kualitas validasi berbeda dari akurasi klasifikasi.

Jalur panduan terkaitKalibrasi Probabilitas
Pertanyaan 1 dari 8

Suatu model terkalibrasi dengan baik jika, di antara prediksi yang diberi label keyakinan 80%, peristiwa tersebut terjadi:

Pratinjau setiap pertanyaan8 pertanyaan

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

  1. Suatu model terkalibrasi dengan baik jika, di antara prediksi yang diberi label keyakinan 80%, peristiwa tersebut terjadi:
    • Sekitar 80% dari waktu
    • 100% setiap saat
    • Sekitar 20% dari waktu
    • Tepat sekali
  2. Apa pengaruh penskalaan suhu terhadap keluaran jaringan saraf?
    • Mengubah kelas mana yang diprediksi
    • Membagi logit dengan skalar yang dipelajari sebelum softmax, menyesuaikan keyakinan
    • Menambahkan noise pada label pelatihan
    • Melatih kembali jaringan dari awal
  3. Apa yang digambarkan dalam diagram keandalan?
    • Kerugian pelatihan versus zaman
    • Ukuran model versus akurasi
    • Probabilitas yang diprediksi versus frekuensi yang diamati
    • Kecepatan pembelajaran versus ukuran batch
  4. Tindakan Kesalahan Kalibrasi yang Diharapkan (ECE):
    • Akurasi model teratas
    • Jumlah parameter dalam model
    • Varians gradien
    • Kesenjangan rata-rata tertimbang antara keyakinan dan akurasi di seluruh bin
  5. Jaringan saraf dalam modern paling sering digambarkan sebagai:
    • Terlalu percaya diri
    • Kurang percaya diri
    • Dikalibrasi sempurna secara default
    • Tidak dapat menampilkan probabilitas
  6. Mengapa model yang sangat akurat masih memerlukan kalibrasi?
    • Model yang akurat selalu memiliki kesalahan kalibrasi nol
    • Akurasi dan kalibrasi adalah sifat yang berbeda
    • Kalibrasi hanya penting untuk regresi
    • Akurasi menjamin probabilitas yang jujur
  7. On which data is temperature scaling typically fit in the guide’s calibration workflow?
    • The final test set using classification accuracy
    • Only the training labels without model outputs
    • A held-out validation set using negative log-likelihood
    • The model’s hidden weights using mean squared error
  8. Why can temperature scaling improve calibration without changing top-1 accuracy?
    • It changes the model’s predicted class labels randomly
    • It retrains the feature extractor
    • It replaces every logit with the same value
    • Dividing logits by a positive scalar changes confidence but preserves their ordering