Kuis terkait panduan · Sedang Tingkat

Kuis Penyulingan Pengetahuan

Terapkan distribusi guru, target yang diperhalus, dan evaluasi siswa dalam penyulingan, termasuk mengapa peniruan tidak menjamin akurasi tingkat guru.

Jalur panduan terkaitPenyulingan Pengetahuan
Pertanyaan 1 dari 8

In knowledge distillation, what is the student model trained to do?

Pratinjau setiap pertanyaan8 pertanyaan

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

  1. In knowledge distillation, what is the student model trained to do?
    • Untuk melatih model siswa yang kecil untuk meniru model guru yang besar
    • Untuk membuat model lebih besar dan lebih akurat
    • Untuk memberi label pada data secara otomatis
    • Untuk mengenkripsi bobot model
  2. Apa yang dimaksud dengan 'pengetahuan gelap' guru?
    • Perilaku jahat yang tersembunyi dalam model
    • Bagian terenkripsi dari file model
    • Informasi mengenai probabilitas relatif yang diberikan guru pada kelas yang salah
    • Data yang tidak pernah dilatih oleh guru
  3. Apa peran suhu (T) dalam distilasi?
    • Ini mengontrol kecepatan pelatihan model saja
    • Ini melunakkan softmax sehingga kesamaan kecil antar kelas dapat dipelajari
    • Ini menetapkan jumlah lapisan pada siswa
    • Ini mengukur keluaran panas GPU
  4. Kerugian distilasi klasik menggabungkan dua komponen yang manakah?
    • Dua model penghargaan terpisah
    • Kesalahan kuadrat rata-rata dan hilangnya engsel
    • Penalti KL terhadap kebijakan referensi dan fungsi nilai
    • Suku divergensi KL yang cocok dengan keluaran lunak guru ditambah entropi silang pada label sebenarnya
  5. Manakah contoh model bahasa sulingan?
    • ResNet-50
    • Kata2Vec
    • DistilBERT
    • AlexNet
  6. Apa perbedaan distilasi berbasis fitur dengan pendekatan berbasis keluaran klasik?
    • Ini cocok dengan representasi lapisan tersembunyi perantara, bukan hanya keluaran akhir
    • Itu mengabaikan guru sepenuhnya
    • Ini hanya menggunakan label keras
    • Ini melatih guru, bukan siswa
  7. A teacher assigns similar small probabilities to wolf and fox when predicting dog. What can soft-target distillation transfer beyond the top label?
    • A guarantee that either alternative is the correct label
    • The teacher’s complete original training corpus
    • The teacher’s exact number of hidden layers
    • Relative relationships among the teacher’s alternative class scores
  8. A distilled student is smaller than its teacher. Which evaluation is needed before deployment?
    • Assume its accuracy must equal the teacher’s
    • Measure its task accuracy and runtime on the intended system
    • Assume fewer parameters guarantee lower latency on every device
    • Only compare the models’ names