Gids-gekoppelde quiz · Middelmatig Niveau
Gewichtsinitialisatiequiz
Controleert symmetriebreuk, fan-in en fan-out schaling, Xavier- en He-initialisatie, ReLU-compensatie en nul-biases. in diepe modellen.
Vraag 1 van 8
Waarom is het initialiseren van alle gewichten naar nul een fatale fout?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Waarom is het initialiseren van alle gewichten naar nul een fatale fout?
- Alle neuronen ontvangen identieke gradiënten en differentiëren nooit (de symmetrie is niet verbroken)
- Het maakt de training te snel
- Het zorgt ervoor dat het verlies negatief wordt
- Het gebruikt te veel geheugen
- Voor welke activeringsfunctie is de (Kaiming) initialisatie specifiek ontworpen?
- Sigmoïd
- ReLU
- Tanh
- Zachtmax
- Wat is het belangrijkste doel van principiële gewichtsinitialisatieschema's?
- Om alle gewichten gelijk te maken
- Om elk gewicht op één te zetten
- Om de variantie van activeringen en gradiënten ruwweg constant te houden over de lagen heen
- Om de behoefte aan data te elimineren
- Xavier (Glorot)-initialisatie is het meest geschikt voor netwerken met welke activeringen?
- ReLU en zijn varianten
- Alleen lineaire activeringen
- Helemaal geen activatie
- Tanh en sigmoïd
- Waarom gebruikt He-initialisatie een variantie van 2 / fan_in in plaats van 1 / fan_in?
- Ter compensatie van het feit dat ReLU ongeveer de helft van zijn input op nul heeft gezet
- Om gewichten zonder reden groter te maken
- Om het aantal parameters te verminderen
- Om overeen te komen met de batchgrootte
- Hoe worden biases doorgaans geïnitialiseerd wanneer gewichten willekeurig worden geïnitialiseerd?
- Tot zeer grote positieve waarden
- Naar nul, omdat de symmetrie al wordt verbroken door de willekeurige gewichten
- Met dezelfde waarde als het leerpercentage
- Naar willekeurige waarden groter dan de gewichten
- Under Xavier initialization, which quantities determine the weight variance in the guide’s formula?
- The number of training epochs and batch size
- The output class count alone
- Fan-in and fan-out
- The activation’s test accuracy
- For a ReLU layer with fan-in 64, what variance does the He formula 2/fan_in specify?
- 1/64
- 1/16
- 2/64 squared
- 1/32