Gids-gekoppelde quiz · Middelmatig Niveau

Gewichtsinitialisatiequiz

Controleert symmetriebreuk, fan-in en fan-out schaling, Xavier- en He-initialisatie, ReLU-compensatie en nul-biases. in diepe modellen.

Gerelateerde gidspadenInitialisatie van het gewicht
Vraag 1 van 8

Waarom is het initialiseren van alle gewichten naar nul een fatale fout?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Waarom is het initialiseren van alle gewichten naar nul een fatale fout?
    • Alle neuronen ontvangen identieke gradiënten en differentiëren nooit (de symmetrie is niet verbroken)
    • Het maakt de training te snel
    • Het zorgt ervoor dat het verlies negatief wordt
    • Het gebruikt te veel geheugen
  2. Voor welke activeringsfunctie is de (Kaiming) initialisatie specifiek ontworpen?
    • Sigmoïd
    • ReLU
    • Tanh
    • Zachtmax
  3. Wat is het belangrijkste doel van principiële gewichtsinitialisatieschema's?
    • Om alle gewichten gelijk te maken
    • Om elk gewicht op één te zetten
    • Om de variantie van activeringen en gradiënten ruwweg constant te houden over de lagen heen
    • Om de behoefte aan data te elimineren
  4. Xavier (Glorot)-initialisatie is het meest geschikt voor netwerken met welke activeringen?
    • ReLU en zijn varianten
    • Alleen lineaire activeringen
    • Helemaal geen activatie
    • Tanh en sigmoïd
  5. Waarom gebruikt He-initialisatie een variantie van 2 / fan_in in plaats van 1 / fan_in?
    • Ter compensatie van het feit dat ReLU ongeveer de helft van zijn input op nul heeft gezet
    • Om gewichten zonder reden groter te maken
    • Om het aantal parameters te verminderen
    • Om overeen te komen met de batchgrootte
  6. Hoe worden biases doorgaans geïnitialiseerd wanneer gewichten willekeurig worden geïnitialiseerd?
    • Tot zeer grote positieve waarden
    • Naar nul, omdat de symmetrie al wordt verbroken door de willekeurige gewichten
    • Met dezelfde waarde als het leerpercentage
    • Naar willekeurige waarden groter dan de gewichten
  7. Under Xavier initialization, which quantities determine the weight variance in the guide’s formula?
    • The number of training epochs and batch size
    • The output class count alone
    • Fan-in and fan-out
    • The activation’s test accuracy
  8. For a ReLU layer with fan-in 64, what variance does the He formula 2/fan_in specify?
    • 1/64
    • 1/16
    • 2/64 squared
    • 1/32