Quiz collegato alla guida · Difficile Livello
SwiGLU e quiz sulle attivazioni controllate
Verifica la proiezione con gate, il gate SiLU, i compromessi tra costi e parametri e il motivo per cui la larghezza nascosta cambia quando uno SwiGLU sostituisce un MLP standard.
Domanda 1 di 8
Quale operazione principale definisce un'unità lineare con cancello?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Quale operazione principale definisce un'unità lineare con cancello?
- Moltiplicazione per elementi di una proiezione per una seconda proiezione attivata
- Somma di due proiezioni lineari insieme
- Concatenare le teste dell'attenzione
- Dividere le attivazioni per la loro norma
- Quale funzione di attivazione utilizza SwiGLU per il suo ramo gate?
- ReLU
- Swish (SiLU)
- Va bene
- Softmax
- Quante matrici di peso utilizza un blocco feed-forward SwiGLU?
- Uno
- Due
- Tre
- Quattro
- Perché la dimensione nascosta viene generalmente ridimensionata a circa due terzi nei livelli SwiGLU?
- Per migliorare la precisione numerica
- Per rendere il modello più profondo
- Per eliminare la necessità di normalizzazione
- Per mantenere i parametri totali e i FLOP paragonabili a un MLP standard nonostante la matrice extra
- Una proprietà distintiva di Swish rispetto a ReLU è che è:
- Liscio e non monotono, consente piccoli negativi
- Rigorosamente in aumento e limitato a 1
- Identico alla funzione sigmoidea
- Definito solo per ingressi positivi
- Chi ha reso popolare SwiGLU per gli strati feed-forward del trasformatore nel 2020?
- Geoffrey Hinton
- Noam Shazeer
- Yann LeCun
- Andrej Karpathy
- In the SwiGLU product Swish(xW) multiplied by xV, what happens when one gate value is near zero?
- The entire Transformer layer is skipped
- The output projection is replaced by a sigmoid
- The matching value-branch dimension contributes little to the output
- The value branch is permanently frozen
- Why can keeping a standard MLP’s hidden width unchanged increase SwiGLU cost?
- The SiLU gate removes the output projection
- SwiGLU computes a full Hessian
- The value branch has no learned weights
- SwiGLU uses an extra projection matrix, so the comparable-width design would have more parameters and FLOPs