SwiGLU dan Kuis Aktivasi Berpagar

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

1. Operasi inti apa yang mendefinisikan Unit Linier Berpagar?
   • Perkalian berdasarkan elemen dari satu proyeksi dengan proyeksi kedua yang diaktifkan
   • Menambahkan dua proyeksi linier bersama-sama
   • Menggabungkan kepala perhatian
   • Membagi aktivasi berdasarkan normanya
2. Fungsi aktivasi manakah yang digunakan SwiGLU untuk cabang gerbangnya?
   • ULT
   • Desir (SiLU)
   • Tanh
   • Softmax
3. Berapa banyak matriks bobot yang digunakan blok feed-forward SwiGLU?
   • Satu
   • Dua
   • Tiga
   • Empat
4. Mengapa dimensi tersembunyi biasanya diskalakan menjadi sekitar dua pertiga di lapisan SwiGLU?
   • Untuk meningkatkan presisi numerik
   • Untuk membuat model lebih dalam
   • Untuk menghilangkan perlunya normalisasi
   • Untuk menjaga parameter total dan FLOP sebanding dengan MLP standar meskipun terdapat matriks tambahan
5. Ciri khas Swish dibandingkan ReLU adalah:
   • Halus dan tidak monoton, memungkinkan negatif kecil
   • Meningkat secara ketat dan dibatasi pada 1
   • Identik dengan fungsi sigmoid
   • Hanya ditentukan untuk masukan positif
6. Siapa yang mempopulerkan SwiGLU untuk lapisan feed-forward transformator pada tahun 2020?
   • Geoffrey Hinton
   • Noam Shazeer
   • Yann LeCun
   • Andrej Karpati
7. In the SwiGLU product Swish(xW) multiplied by xV, what happens when one gate value is near zero?
   • The entire Transformer layer is skipped
   • The output projection is replaced by a sigmoid
   • The matching value-branch dimension contributes little to the output
   • The value branch is permanently frozen
8. Why can keeping a standard MLP’s hidden width unchanged increase SwiGLU cost?
   • The SiLU gate removes the output projection
   • SwiGLU computes a full Hessian
   • The value branch has no learned weights
   • SwiGLU uses an extra projection matrix, so the comparable-width design would have more parameters and FLOPs