SwiGLU dan Kuiz Pengaktifan Berpagar

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

1. Apakah operasi teras yang mentakrifkan Unit Linear Berpagar?
   • Pendaraban dari segi unsur bagi satu unjuran dengan unjuran kedua yang diaktifkan
   • Menambah dua unjuran linear bersama-sama
   • Menggabungkan kepala perhatian
   • Membahagikan pengaktifan mengikut norma mereka
2. Fungsi pengaktifan yang manakah SwiGLU gunakan untuk cawangan getnya?
   • ReLU
   • Swish (SiLU)
   • Tanh
   • Softmax
3. Berapakah bilangan matriks berat yang digunakan oleh blok suapan hadapan SwiGLU?
   • satu
   • dua
   • Tiga
   • Empat
4. Mengapakah dimensi tersembunyi biasanya diskalakan kepada kira-kira dua pertiga dalam lapisan SwiGLU?
   • Untuk meningkatkan ketepatan berangka
   • Untuk menjadikan model lebih mendalam
   • Untuk menghapuskan keperluan untuk normalisasi
   • Untuk memastikan jumlah parameter dan FLOP setanding dengan MLP standard walaupun terdapat matriks tambahan
5. Sifat tersendiri Swish berbanding dengan ReLU ialah:
   • Lancar dan tidak monotonik, membenarkan negatif kecil
   • Meningkat dan dihadkan pada 1
   • Sama dengan fungsi sigmoid
   • Hanya ditakrifkan untuk input positif
6. Siapa yang mempopularkan SwiGLU untuk lapisan suapan hadapan pengubah pada tahun 2020?
   • Geoffrey Hinton
   • Noam Shazeer
   • Yann LeCun
   • Andrej Karpathy
7. In the SwiGLU product Swish(xW) multiplied by xV, what happens when one gate value is near zero?
   • The entire Transformer layer is skipped
   • The output projection is replaced by a sigmoid
   • The matching value-branch dimension contributes little to the output
   • The value branch is permanently frozen
8. Why can keeping a standard MLP’s hidden width unchanged increase SwiGLU cost?
   • The SiLU gate removes the output projection
   • SwiGLU computes a full Hessian
   • The value branch has no learned weights
   • SwiGLU uses an extra projection matrix, so the comparable-width design would have more parameters and FLOPs