Maswali yanayounganishwa na mwongozo · Ngumu Kiwango

Maswali ya SwiGLU na Uamilisho wa Gated

Hujaribu makadirio yaliyowekwa lango, lango la SiLU, ubadilishanaji wa gharama ya vigezo na kwa nini upana uliofichwa hubadilika wakati SwiGLU inachukua nafasi ya MLP ya kawaida.

Njia za mwongozo zinazohusianaShughuli za Swiglu na Gated
Swali 1 ya 8

Ni operesheni gani ya msingi inafafanua Kitengo cha Linear cha Gated?

Hakiki kila swali8 maswali

Majibu na maelezo huonekana unapojibu maswali.

  1. Ni operesheni gani ya msingi inafafanua Kitengo cha Linear cha Gated?
    • Kuzidisha kwa busara kwa kipengele kwa makadirio moja kwa makadirio ya pili yaliyoamilishwa
    • Kuongeza makadirio mawili ya mstari pamoja
    • Kuunganisha vichwa vya tahadhari
    • Kugawanya uanzishaji kwa kawaida yao
  2. Ni kazi gani ya uanzishaji ambayo SwiGLU hutumia kwa tawi la lango lake?
    • RELU
    • Swish (SiLU)
    • Tanh
    • Softmax
  3. Je! Kizuizi cha kusonga mbele cha SwiGLU hutumia matiti ngapi ya uzito?
    • Moja
    • Mbili
    • Tatu
    • Nne
  4. Kwa nini kipimo kilichofichwa kawaida hupunguzwa hadi karibu theluthi mbili katika tabaka za SwiGLU?
    • Ili kuboresha usahihi wa nambari
    • Ili kufanya mfano kuwa wa kina zaidi
    • Ili kuondoa hitaji la kuhalalisha
    • Kuweka jumla ya vigezo na FLOPs kulinganishwa na MLP ya kawaida licha ya matrix ya ziada
  5. Sifa ya kipekee ya Swish ikilinganishwa na ReLU ni kwamba ni:
    • Smooth na yasiyo ya monotonic, kuruhusu hasi ndogo
    • Inaongezeka na kupunguzwa kwa 1
    • Sawa na kazi ya sigmoid
    • Inafafanuliwa tu kwa ingizo chanya
  6. Nani alitangaza SwiGLU kwa tabaka za usambazaji wa mbele wa kibadilishaji mnamo 2020?
    • Geoffrey Hinton
    • Noam Shazeer
    • Yann LeCun
    • Andrej Karpathy
  7. In the SwiGLU product Swish(xW) multiplied by xV, what happens when one gate value is near zero?
    • The entire Transformer layer is skipped
    • The output projection is replaced by a sigmoid
    • The matching value-branch dimension contributes little to the output
    • The value branch is permanently frozen
  8. Why can keeping a standard MLP’s hidden width unchanged increase SwiGLU cost?
    • The SiLU gate removes the output projection
    • SwiGLU computes a full Hessian
    • The value branch has no learned weights
    • SwiGLU uses an extra projection matrix, so the comparable-width design would have more parameters and FLOPs