Quiz collegato alla guida · Difficile Livello

SwiGLU e quiz sulle attivazioni controllate

Verifica la proiezione con gate, il gate SiLU, i compromessi tra costi e parametri e il motivo per cui la larghezza nascosta cambia quando uno SwiGLU sostituisce un MLP standard.

Percorsi guida correlatiSwiglu e attivazioni con gate
Domanda 1 di 8

Quale operazione principale definisce un'unità lineare con cancello?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Quale operazione principale definisce un'unità lineare con cancello?
    • Moltiplicazione per elementi di una proiezione per una seconda proiezione attivata
    • Somma di due proiezioni lineari insieme
    • Concatenare le teste dell'attenzione
    • Dividere le attivazioni per la loro norma
  2. Quale funzione di attivazione utilizza SwiGLU per il suo ramo gate?
    • ReLU
    • Swish (SiLU)
    • Va bene
    • Softmax
  3. Quante matrici di peso utilizza un blocco feed-forward SwiGLU?
    • Uno
    • Due
    • Tre
    • Quattro
  4. Perché la dimensione nascosta viene generalmente ridimensionata a circa due terzi nei livelli SwiGLU?
    • Per migliorare la precisione numerica
    • Per rendere il modello più profondo
    • Per eliminare la necessità di normalizzazione
    • Per mantenere i parametri totali e i FLOP paragonabili a un MLP standard nonostante la matrice extra
  5. Una proprietà distintiva di Swish rispetto a ReLU è che è:
    • Liscio e non monotono, consente piccoli negativi
    • Rigorosamente in aumento e limitato a 1
    • Identico alla funzione sigmoidea
    • Definito solo per ingressi positivi
  6. Chi ha reso popolare SwiGLU per gli strati feed-forward del trasformatore nel 2020?
    • Geoffrey Hinton
    • Noam Shazeer
    • Yann LeCun
    • Andrej Karpathy
  7. In the SwiGLU product Swish(xW) multiplied by xV, what happens when one gate value is near zero?
    • The entire Transformer layer is skipped
    • The output projection is replaced by a sigmoid
    • The matching value-branch dimension contributes little to the output
    • The value branch is permanently frozen
  8. Why can keeping a standard MLP’s hidden width unchanged increase SwiGLU cost?
    • The SiLU gate removes the output projection
    • SwiGLU computes a full Hessian
    • The value branch has no learned weights
    • SwiGLU uses an extra projection matrix, so the comparable-width design would have more parameters and FLOPs