SwiGLU ve Geçitli Aktivasyon Testi

Testi çözdüğünüzde cevaplar ve açıklamalar görünür.

1. Geçitli Doğrusal Üniteyi hangi temel operasyon tanımlar?
   • Etkinleştirilmiş bir ikinci projeksiyon ile bir projeksiyonun eleman bazında çarpımı
   • İki doğrusal projeksiyonu birbirine ekleme
   • Dikkat kafalarını birleştirme
   • Aktivasyonları normlarına göre bölme
2. SwiGLU kapı dalı için hangi aktivasyon fonksiyonunu kullanıyor?
   • ReLU
   • Swish (SiLU)
   • Tanh
   • Softmax
3. Bir SwiGLU ileri besleme bloğu kaç ağırlık matrisi kullanır?
   • Bir
   • iki
   • üç
   • Dört
4. Gizli boyut neden SwiGLU katmanlarında genellikle yaklaşık üçte iki oranında ölçeklendiriliyor?
   • Sayısal kesinliği artırmak için
   • Modeli derinleştirmek için
   • Normalleşme ihtiyacını ortadan kaldırmak için
   • Ekstra matrise rağmen toplam parametreleri ve FLOP'ları standart bir MLP ile karşılaştırılabilir tutmak için
5. Swish'in ReLU'ya kıyasla ayırt edici özelliği şudur:
   • Pürüzsüz ve monoton olmayan, küçük negatiflere izin veren
   • Kesin olarak artıyor ve 1 ile sınırlandırılıyor
   • Sigmoid fonksiyonuyla aynı
   • Yalnızca pozitif girişler için tanımlanmış
6. 2020'de transformatör ileri besleme katmanları için SwiGLU'yu kim popüler hale getirdi?
   • Geoffrey Hinton
   • Noam Shazeer
   • Yann LeCun
   • Andrej Karpathy
7. In the SwiGLU product Swish(xW) multiplied by xV, what happens when one gate value is near zero?
   • The entire Transformer layer is skipped
   • The output projection is replaced by a sigmoid
   • The matching value-branch dimension contributes little to the output
   • The value branch is permanently frozen
8. Why can keeping a standard MLP’s hidden width unchanged increase SwiGLU cost?
   • The SiLU gate removes the output projection
   • SwiGLU computes a full Hessian
   • The value branch has no learned weights
   • SwiGLU uses an extra projection matrix, so the comparable-width design would have more parameters and FLOPs