Derinliklerin Karışımı Testi

Testi çözdüğünüzde cevaplar ve açıklamalar görünür.

1. Derinlik Karışımı tokenlar arasında ne gibi değişiklikler gösterir?
   • Her jetonun ne kadar işlem (hangi katmanlar) aldığı
   • Kullanılan kelime dağarcığı
   • Eğitim veri seti
   • Çıkış dili
2. MoD bilgi işlem bütçesini nasıl öngörülebilir tutuyor?
   • Model ağırlıklarının yarısını rastgele bırakarak
   • Her blokta tokenların sabit bir üst k fraksiyonunu işleyerek
   • Her cümle için farklı bir model kullanılarak
   • Dikkati tamamen devre dışı bırakarak
3. Belirli bir blokta yönlendiricinin SEÇMEDİĞİ belirteçlere ne olur?
   • Sıradan silinirler
   • Ayrı bir modele gönderilirler
   • Değişmeden geçerek artık bağlantı yoluyla bloğu atlarlar
   • Resimlere dönüştürülürler
4. Derinliklerin Karışımı tekniğini hangi laboratuvar yayınladı?
   • 2019'da OpenAI
   • Meta, 2015'te
   • Microsoft, 2012'de
   • Google 2024'te DeepMind
5. MoD'yi Uzmanlar Karması ile birleştirmek ne üretir?
   • Hem derinliğe hem de uzman seçimine göre yönlendiren MoDE
   • Parametresi olmayan bir model
   • Saf bir evrişimli ağ
   • Yalnızca tokenizer içeren bir sistem
6. MoD'de neden jeton başına eşik yerine sabit bir üst k tercih ediliyor?
   • Model çıktısının rastgele metin olmasını sağlar
   • Tensör şekillerini statik tutar, bu da donanım açısından verimlidir
   • Eğitim ihtiyacını ortadan kaldırır
   • Kelime dağarcığını arttırır
7. What does the learned router do at a Mixture-of-Depths block?
   • Selects a new model family for every prompt
   • Predicts labels for the next training batch
   • Scores tokens so the block can select which ones receive full attention and MLP computation
   • Changes the vocabulary size at inference
8. Why does causal generation in MoD use auxiliary predictors for routing?
   • To let a model read the entire answer before generating
   • To remove the fixed top-k compute budget
   • To convert the sequence into an image
   • To make routing decisions without looking at future tokens