Kuiz berkaitan panduan · Keras Tahap

Z-Kehilangan dan Kuiz Kestabilan Latihan

Kira z-loss dan bezakan normalisasi logit daripada kualiti ramalan, termasuk pekali, pengiraan stabil dan had kehilangan penghala.

Laluan panduan yang berkaitanZ Kehilangan Dan Kestabilan Latihan
soalan 1 daripada 8

Kuantiti yang manakah dihukum oleh istilah kerugian-z biasa?

Pratonton setiap soalan8 soalan

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

  1. Kuantiti yang manakah dihukum oleh istilah kerugian-z biasa?
    • Logaritma kuasa dua pemalar normalisasi softmax
    • Bilangan dokumen latihan
    • Hanya kebarangkalian kelas terbesar
    • Saiz fail pusat pemeriksaan
  2. Apakah yang berlaku kepada kebarangkalian softmax apabila pemalar yang sama ditambah kepada setiap logit dalam aritmetik tepat?
    • Mereka semua menjadi sifar
    • Mereka kekal tidak berubah
    • Mereka menjadi diedarkan secara seragam untuk setiap input
    • Bilangan kelas keluaran berganda
  3. Untuk logit [0, 0], apakah kerugian-z tidak berwajaran?
    • 0
    • 2
    • (ln 2)², lebih kurang 0.48045
    • 1/2
  4. Pasangan logit sama yang manakah memberikan Z = 1 dan kehilangan z sifar?
    • [0, 0]
    • [1, 1]
    • [ln 2, ln 2]
    • [−ln 2, −ln 2]
  5. Adakah kehilangan z sifar menunjukkan bahawa pengelas meramalkan jawapan yang betul?
    • Tidak; ia menerangkan penormalan, bukan sama ada pengedaran yang diramalkan sepadan dengan sasaran
    • Ya; kehilangan tambahan sifar bermakna setiap ramalan kelas adalah betul
    • Ya; semua logit kemudiannya mesti sepadan dengan label
    • Hanya jika model menggunakan dua kelas
  6. Mengapa pengiraan harus menggunakan pelaksanaan logsumexp yang stabil?
    • Untuk memaksa setiap kebarangkalian menjadi sama
    • Untuk mengelakkan eksponen langsung logit yang sangat besar
    • Untuk menghapuskan keperluan untuk kehilangan tugas utama
    • Untuk menukar semua input kepada integer
  7. Dalam penghala MoE, bagaimanakah z-loss berbeza daripada kehilangan tambahan pengimbangan beban?
    • Kedua-duanya menjamin penggunaan pakar yang sama
    • Z-loss sentiasa menggantikan algoritma penghalaan
    • Z-loss mengawal kuantiti log-normalizer; pengimbangan beban menangani penggunaan pakar
    • Pengimbangan beban hanya mengawal saiz perbendaharaan kata keluaran
  8. Penilaian manakah yang terbaik menguji sama ada penambahan z-loss membantu konfigurasi latihan?
    • Semak hanya sama ada nilai tambahan jatuh
    • Andaikan pekali yang diterbitkan menjamin kestabilan
    • Berhenti mengukur tugas utama sebaik sahaja latihan dijalankan
    • Bandingkan kestabilan dan kualiti tugas yang ditahan sambil menjejaki kerugian utama dan tambahan secara berasingan