Rehber bağlantılı sınav · Orta Seviye

Bilgi Damıtma Testi

Taklit etmenin neden öğretmen düzeyinde doğruluğu garanti etmediği de dahil olmak üzere, damıtmada öğretmen dağılımlarını, yumuşatılmış hedefleri ve öğrenci değerlendirmesini uygulayın.

İlgili kılavuz yollarıBilgi Damıtma
Soru 1 arasında 8

Bilginin damıtılmasında öğrenci modeli ne yapmak için eğitilir?

Her soruyu önizleyin8 sorular

Testi çözdüğünüzde cevaplar ve açıklamalar görünür.

  1. Bilginin damıtılmasında öğrenci modeli ne yapmak için eğitilir?
    • Büyük bir öğretmen modelini taklit edecek şekilde küçük bir öğrenci modelini eğitmek
    • Bir modeli daha büyük ve daha doğru hale getirmek için
    • Verileri otomatik olarak etiketlemek için
    • Bir modelin ağırlıklarını şifrelemek için
  2. Öğretmenin 'karanlık bilgisi' ile kastedilen nedir?
    • Modeldeki gizli kötü amaçlı davranış
    • Model dosyasının şifrelenmiş kısmı
    • Öğretmenin yanlış sınıflara atadığı göreceli olasılıklar bilgisi
    • Öğretmenin hiçbir zaman eğitim almadığı veriler
  3. Damıtmada sıcaklığın (T) rolü nedir?
    • Yalnızca modelin eğitim hızını kontrol eder
    • Softmax'ı yumuşatır, böylece sınıflar arası küçük benzerlikler öğrenilebilir hale gelir
    • Öğrencideki katman sayısını ayarlar
    • GPU'nun ısı çıkışını ölçer
  4. Klasik damıtma kaybı hangi iki bileşeni birleştirir?
    • İki ayrı ödül modeli
    • Ortalama kare hatası ve menteşe kaybı
    • Referans politikasına ve değer fonksiyonuna karşı KL cezası
    • Öğretmenin yazılım çıktılarıyla eşleşen bir KL-diverjans terimi artı gerçek etiketlerdeki çapraz entropi
  5. Hangisi damıtılmış dil modeline bir örnektir?
    • ResNet-50
    • Word2Vec
    • DistilBERT
    • AlexNet
  6. Özellik bazlı damıtmanın klasik çıktı bazlı yaklaşımdan farkı nedir?
    • Yalnızca nihai çıktılarla değil, ara gizli katman temsilleriyle de eşleşir
    • Öğretmeni tamamen görmezden geliyor
    • Yalnızca sert etiketler kullanır
    • Öğrenci yerine öğretmen yetiştiriyor
  7. A teacher assigns similar small probabilities to wolf and fox when predicting dog. What can soft-target distillation transfer beyond the top label?
    • A guarantee that either alternative is the correct label
    • The teacher’s complete original training corpus
    • The teacher’s exact number of hidden layers
    • Relative relationships among the teacher’s alternative class scores
  8. A distilled student is smaller than its teacher. Which evaluation is needed before deployment?
    • Assume its accuracy must equal the teacher’s
    • Measure its task accuracy and runtime on the intended system
    • Assume fewer parameters guarantee lower latency on every device
    • Only compare the models’ names