重みの初期化クイズ

クイズに答えると、答えと解説が表示されます。

1. すべての重みをゼロに初期化することが致命的な間違いになるのはなぜですか?
   • すべてのニューロンは同一の勾配を受け取り、決して区別されません（対称性は破れません）。
   • トレーニングが速すぎる
   • 損失がマイナスになる原因となります
   • メモリ使用量が多すぎる
2. 彼 (Kaiming) の初期化は、どの活性化関数のために特別に設計されていますか?
   • シグモイド
   • ReLU
   • タン
   • ソフトマックス
3. 原則に基づいた重み初期化スキームの主な目標は何ですか?
   • すべての重みを等しくするには
   • すべての重みを 1 に設定するには
   • アクティベーションと勾配の分散をレイヤー全体でほぼ一定に保つため
   • データの必要性をなくすには
4. Xavier (Glorot) の初期化は、どのアクティベーションを使用するネットワークに最適ですか?
   • ReLU とその亜種
   • 線形アクティベーションのみ
   • まったくアクティベーションがありません
   • タンとシグモイド
5. He の初期化で 1 / fan_in ではなく 2 / fan_in の分散が使用されるのはなぜですか?
   • ReLU の入力の約半分をゼロに設定することを補償するため
   • 理由もなくウェイトを大きくすること
   • パラメータの数を減らすには
   • バッチサイズに合わせるには
6. 重みがランダムに初期化される場合、バイアスは通常どのように初期化されるのでしょうか?
   • 非常に大きな正の値まで
   • ランダムな重みによって対称性がすでに破られているため、ゼロにします。
   • 学習率と同じ値まで
   • 重みよりも大きい値をランダムにするには
7. Xavier の初期化では、どの量がガイドの式の重みの分散を決定しますか?
   • トレーニング エポックの数とバッチ サイズ
   • 出力クラス数のみ
   • ファンインとファンアウト
   • アクティベーションのテスト精度
8. ファンイン 64 の ReLU 層の場合、He 式 2/fan_in はどのような分散を指定しますか?
   • 1/64
   • 1/16
   • 2/64 の 2 乗
   • 1/32