Quiz lié à un guide · Moyen Niveau

Quiz d'initialisation du poids

Vérifie la rupture de symétrie, la mise à l'échelle du fan-in et du fan-out, l'initialisation de Xavier et He, la compensation ReLU et les biais nuls. dans les modèles profonds.

Chemins de guidage associésInitialisation du poids
Question 1 de 8

Pourquoi initialiser tous les poids à zéro est-il une erreur fatale ?

Prévisualisez chaque question8 des questions

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

  1. Pourquoi initialiser tous les poids à zéro est-il une erreur fatale ?
    • Tous les neurones reçoivent des gradients identiques et ne se différencient jamais (la symétrie n'est pas rompue)
    • Cela rend l'entraînement trop rapide
    • Cela rend la perte négative
    • Il utilise trop de mémoire
  2. L'initialisation (Kaiming) est spécifiquement conçue pour quelle fonction d'activation ?
    • Sigmoïde
    • RéLU
    • Tanh
    • Softmax
  3. Quel est l’objectif principal des schémas d’initialisation de poids fondés sur des principes ?
    • Pour que tous les poids soient égaux
    • Pour définir chaque poids sur un
    • Pour maintenir la variance des activations et des gradients à peu près constante entre les couches
    • Pour éliminer le besoin de données
  4. L'initialisation de Xavier (Glorot) est la plus adaptée aux réseaux utilisant quelles activations ?
    • ReLU et ses variantes
    • Uniquement des activations linéaires
    • Aucune activation du tout
    • Tanh et sigmoïde
  5. Pourquoi l'initialisation utilise-t-elle une variance de 2/fan_in plutôt que de 1/fan_in ?
    • Pour compenser le fait que ReLU ait mis à zéro environ la moitié de ses entrées
    • Pour augmenter les poids sans raison
    • Pour réduire le nombre de paramètres
    • Pour correspondre à la taille du lot
  6. Comment les biais sont-ils généralement initialisés lorsque les poids sont initialisés de manière aléatoire ?
    • Aux très grandes valeurs positives
    • À zéro, puisque la symétrie est déjà brisée par les poids aléatoires
    • À la même valeur que le taux d'apprentissage
    • À des valeurs aléatoires supérieures aux poids
  7. Under Xavier initialization, which quantities determine the weight variance in the guide’s formula?
    • The number of training epochs and batch size
    • The output class count alone
    • Fan-in and fan-out
    • The activation’s test accuracy
  8. For a ReLU layer with fan-in 64, what variance does the He formula 2/fan_in specify?
    • 1/64
    • 1/16
    • 2/64 squared
    • 1/32