LoRA Uzmanları Testi Karışımı

Testi çözdüğünüzde cevaplar ve açıklamalar görünür.

1. LoRA Uzmanları Karışımı'nın 'LoRA' kısmı neyi ifade ediyor?
   • Tam ağırlıklar yerine küçük, düşük dereceli matrisleri eğiten Düşük Sıralı Adaptasyon
   • Takviyeli öğrenme ödül modeli
   • Uzun menzilli bir dikkat mekanizması
   • Bağdaştırıcılar için veri yükleme hattı
2. MoLE'de geçit/yönlendirici ağının görevi nedir?
   • Temel model ağırlıklarını sıkıştırmak için
   • Belirli bir girdi için hangi uzmanların hangi ağırlıklarla etkinleştirileceğine karar vermek
   • Bağdaştırıcılar için eğitim verileri oluşturmak için
   • Metni gömmelere dönüştürmek için
3. MoLE neden çoğu zaman tek bir bağdaştırıcıyı birçok karma görev için eğitmekten daha iyidir?
   • Tasarım gereği daha fazla GPU belleği kullanır
   • Herhangi bir temel modele olan ihtiyacı ortadan kaldırır
   • Becerileri ayrı şekillendirilebilir uzmanlarda tutarak müdahaleyi ve unutmayı azaltır
   • Yalnızca tek bir dilde çalışır
4. LoRA'da ağırlık güncellemesi genellikle aşağıdakilerden hangisiyle ifade edilir?
   • W'nin yerini alan tam yoğun bir matris
   • W üzerinde tek bir skaler çarpan
   • Her adımda rastgele bir gürültü matrisi eklendi
   • İki düşük dereceli matrisin çarpımı, B çarpı A
5. MoLE eğitimi sırasında temel modelin önceden eğitilmiş ağırlıklarına genel olarak ne olur?
   • Yalnızca adaptörler ve yönlendirici eğitilirken donmuş halde kalırlar
   • Tamamen sıfırdan yeniden eğitiliyorlar
   • Silinip yeniden oluşturuluyorlar
   • Bir bit'e kadar nicelenirler
6. Difüzyon görüntü modellerinde, MoLE'deki hiyerarşik/katman başına geçiş hangi sorunun çözülmesine yardımcı olur?
   • Yavaş internet indirmeleri
   • Çoklu konsept LoRA'lar oluşturulduklarında birbirlerine üstün geliyor
   • Eğitim verilerinin eksikliği
   • Yanlış dosya formatları
7. How can a gated LoRA mixture differ from merging all adapter weights into one fixed update?
   • It must retrain the pretrained backbone for every prompt
   • It can use only one expert for all inputs
   • It can select or weight experts conditionally for a task or layer
   • It removes every low-rank matrix before inference
8. In a LoRA update with rank r, what does r control most directly?
   • The number of decoder tokens generated
   • The number of original model layers removed
   • The size of the training vocabulary
   • The dimension of the low-rank factors and thus the capacity and parameter cost of the update