Kuiz berkaitan panduan · Keras Tahap
Z-Kehilangan dan Kuiz Kestabilan Latihan
Kira z-loss dan bezakan normalisasi logit daripada kualiti ramalan, termasuk pekali, pengiraan stabil dan had kehilangan penghala.
soalan 1 daripada 8
Kuantiti yang manakah dihukum oleh istilah kerugian-z biasa?
Pratonton setiap soalan8 soalan
Jawapan dan penjelasan muncul semasa anda mengambil kuiz.
- Kuantiti yang manakah dihukum oleh istilah kerugian-z biasa?
- Logaritma kuasa dua pemalar normalisasi softmax
- Bilangan dokumen latihan
- Hanya kebarangkalian kelas terbesar
- Saiz fail pusat pemeriksaan
- Apakah yang berlaku kepada kebarangkalian softmax apabila pemalar yang sama ditambah kepada setiap logit dalam aritmetik tepat?
- Mereka semua menjadi sifar
- Mereka kekal tidak berubah
- Mereka menjadi diedarkan secara seragam untuk setiap input
- Bilangan kelas keluaran berganda
- Untuk logit [0, 0], apakah kerugian-z tidak berwajaran?
- 0
- 2
- (ln 2)², lebih kurang 0.48045
- 1/2
- Pasangan logit sama yang manakah memberikan Z = 1 dan kehilangan z sifar?
- [0, 0]
- [1, 1]
- [ln 2, ln 2]
- [−ln 2, −ln 2]
- Adakah kehilangan z sifar menunjukkan bahawa pengelas meramalkan jawapan yang betul?
- Tidak; ia menerangkan penormalan, bukan sama ada pengedaran yang diramalkan sepadan dengan sasaran
- Ya; kehilangan tambahan sifar bermakna setiap ramalan kelas adalah betul
- Ya; semua logit kemudiannya mesti sepadan dengan label
- Hanya jika model menggunakan dua kelas
- Mengapa pengiraan harus menggunakan pelaksanaan logsumexp yang stabil?
- Untuk memaksa setiap kebarangkalian menjadi sama
- Untuk mengelakkan eksponen langsung logit yang sangat besar
- Untuk menghapuskan keperluan untuk kehilangan tugas utama
- Untuk menukar semua input kepada integer
- Dalam penghala MoE, bagaimanakah z-loss berbeza daripada kehilangan tambahan pengimbangan beban?
- Kedua-duanya menjamin penggunaan pakar yang sama
- Z-loss sentiasa menggantikan algoritma penghalaan
- Z-loss mengawal kuantiti log-normalizer; pengimbangan beban menangani penggunaan pakar
- Pengimbangan beban hanya mengawal saiz perbendaharaan kata keluaran
- Penilaian manakah yang terbaik menguji sama ada penambahan z-loss membantu konfigurasi latihan?
- Semak hanya sama ada nilai tambahan jatuh
- Andaikan pekali yang diterbitkan menjamin kestabilan
- Berhenti mengukur tugas utama sebaik sahaja latihan dijalankan
- Bandingkan kestabilan dan kualiti tugas yang ditahan sambil menjejaki kerugian utama dan tambahan secara berasingan