Uzmanların Karışımı Sınavı

Testi çözdüğünüzde cevaplar ve açıklamalar görünür.

1. Uzmanlar Karması katmanında, hangi uzmanların belirli bir tokenı işleyeceğine ne karar verir?
   • Uzmanları puanlayan küçük, öğrenilmiş bir yönlendirici (geçit ağı)
   • Eğitimden önce ayarlanan sabit bir arama tablosu
   • Kullanıcının istem uzunluğu
   • Her adımda rastgele bir çekiliş
2. Neden bir MoE modeli, jeton başına maliyette aynı artış olmadan yoğun bir modele göre çok daha fazla toplam parametreye sahip olabiliyor?
   • Parametreleri tek bir paylaşılan ağırlığa sıkıştırır
   • Dikkat katmanlarını tamamen atlar
   • Her token için yalnızca birkaç uzman (top-k) etkinleştirilir
   • Her uzmanı çalıştırır ancak sonuçların ortalamasını alır
3. MEB eğitimi sırasında yük dengeleme (yardımcı) kaybı hangi sorunu çözer?
   • Bağlam penceresi için belirteçlerin çok uzun olması
   • Yönlendirici birkaç uzmanı aşırı kullanıyor ve geri kalanını aç bırakıyor
   • Dikkat kafalarında kaybolan degradeler
   • Doğrulama kümesine aşırı uyum
4. Mixtral 8x7B, token başına 8 uzmanından 2'sini etkinleştirir. Bu, hesaplama ve boyutu hakkında ne anlama geliyor?
   • Her token üzerinde 8 uzmanın hesaplamasını kullanır
   • 7B yoğun modele göre daha az toplam parametreye sahiptir
   • Hiçbir şekilde GPU'da çalışamaz
   • Token başına aktif hesaplaması, toplam parametre sayısının önerdiğinden çok daha küçük
5. Why can a sparse MoE still have substantial memory or storage requirements?
   • Every token necessarily activates all experts
   • Inactive experts cease to have parameters
   • Inactive expert weights still need accessible storage even when not selected for a token
   • The router removes all attention layers
6. Two selected MoE expert outputs are 2 and 6, with combination weights 0.25 and 0.75. What is their weighted output?
   • 5
   • 8
   • 2
   • 0,5
7. Increasing an MoE’s expert count keeps the same top-k and expert size. What can still increase serving cost?
   • The selected expert count must automatically become the total count
   • The model must stop using attention
   • Every inactive weight is automatically deleted
   • Router or communication overhead and the storage required for more experts
8. A sparse MoE calls a learned feed-forward subnetwork an expert. What does that name establish?
   • It is certified to answer only one academic discipline
   • It is one of the networks selected by routing, without proving a named subject specialty
   • It must be a human-written collection of rules
   • It contains no learned parameters