Quiz lié à un guide · Difficile Niveau

Quiz SwiGLU et activations fermées

Teste la projection fermée, la porte SiLU, les compromis entre les paramètres et le coût et pourquoi la largeur cachée change lorsqu'un SwiGLU remplace un MLP standard.

Chemins de guidage associésSwiglu et activations fermées
Question 1 de 8

Quelle opération principale définit une unité linéaire fermée ?

Prévisualisez chaque question8 des questions

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

  1. Quelle opération principale définit une unité linéaire fermée ?
    • Multiplication élément par élément d'une projection par une deuxième projection activée
    • Additionner deux projections linéaires ensemble
    • Concaténation des têtes d'attention
    • Diviser les activations par leur norme
  2. Quelle fonction d'activation SwiGLU utilise-t-il pour sa branche portail ?
    • RéLU
    • Swish (SiLU)
    • Tanh
    • Softmax
  3. Combien de matrices de poids un bloc de rétroaction SwiGLU utilise-t-il ?
    • Un
    • Deux
    • Trois
    • Quatre
  4. Pourquoi la dimension cachée est-elle généralement réduite à environ deux tiers dans les couches SwiGLU ?
    • Pour améliorer la précision numérique
    • Pour approfondir le modèle
    • Pour supprimer le besoin de normalisation
    • Pour garder le total des paramètres et des FLOP comparables à un MLP standard malgré la matrice supplémentaire
  5. Une propriété distinctive de Swish par rapport à ReLU est qu'il est :
    • Lisse et non monotone, permettant de petits négatifs
    • Strictement croissante et plafonné à 1
    • Identique à la fonction sigmoïde
    • Uniquement défini pour les entrées positives
  6. Qui a popularisé SwiGLU pour les couches à réaction directe des transformateurs en 2020 ?
    • Geoffrey Hinton
    • Noam Shazeer
    • Yann LeCun
    • Andreï Karpathy
  7. In the SwiGLU product Swish(xW) multiplied by xV, what happens when one gate value is near zero?
    • The entire Transformer layer is skipped
    • The output projection is replaced by a sigmoid
    • The matching value-branch dimension contributes little to the output
    • The value branch is permanently frozen
  8. Why can keeping a standard MLP’s hidden width unchanged increase SwiGLU cost?
    • The SiLU gate removes the output projection
    • SwiGLU computes a full Hessian
    • The value branch has no learned weights
    • SwiGLU uses an extra projection matrix, so the comparable-width design would have more parameters and FLOPs