Yapılandırılmış Budama ve Katman Bırakma Testi

Testi çözdüğünüzde cevaplar ve açıklamalar görünür.

1. Yapılandırılmış budama neden gerçek hızlanmalar sağlarken, yapılandırılmamış budama çoğu zaman sağlayamaz?
   • Yapılandırılmış budama tensörleri küçülten tutarlı blokları ortadan kaldırır
   • Yapılandırılmamış budama model boyutunu artırır
   • Yapılandırılmış budama daha fazla katman ekler
   • Yapılandırılmamış budama yalnızca CPU'larda çalışır
2. Transformatörler bağlamında 'katman düşüşü' nedir?
   • Katman başına öğrenme oranının azaltılması
   • Model derinliğini azaltmak için tüm transformatör bloklarının silinmesi
   • Her katmana bırakma ekleme
   • Katmanları rastgele yeniden sıralama
3. Hangi sinyal genellikle bir transformatör katmanının güvenli bir şekilde düşürülebileceğini gösterir?
   • Katman en fazla parametreye sahiptir
   • Katman ağdaki ilk katmandır
   • Katmanın giriş ve çıkış gizli durumları birbirine çok benzer
   • Katman en fazla belleği kullanır
4. Yapılandırılmış budama sonrasında genellikle hangi adım doğruluğu geri kazandırır?
   • Yalnızca toplu iş boyutunu artırma
   • 16 bit'e yeniden niceleme
   • Daha fazla dikkat başlığı ekleme
   • Kısa bir ince ayar veya bilgi damıtma turu
5. Bireysel dikkat kafaları budama için sıklıkla nasıl sıralanır?
   • Kafa maskelendiğinde kaybın artmasıyla (hassasiyet)
   • Alfabetik sıraya göre
   • Kelime hazinesindeki konumlarına göre
   • Gördükleri jeton sayısına göre
6. Damıtmayla birlikte yapılandırılmış budamanın önemli bir pratik kullanımı nedir?
   • Eğitim verilerini otomatik olarak oluşturma
   • Büyük bir kontrol noktasından daha küçük, daha hızlı modellerden oluşan bir aile elde etmek
   • Model ağırlıklarını şifreleme
   • Bağlam penceresi uzunluğunu artırma
7. Why can a smaller student recover some function of a pruned model during distillation?
   • It restores the deleted weights in place
   • It changes the test labels
   • It is trained to match useful outputs or behavior of the larger teacher
   • It removes the need for validation
8. If a transformer layer’s input and output have high cosine similarity, what does that suggest under the guide’s pruning heuristic?
   • The layer is guaranteed to be useless for every task
   • The model must add another layer
   • The output has no features
   • The layer changed the representation relatively little and may be a candidate for dropping