確率的重み平均に関するクイズ

クイズに答えると、答えと解説が表示されます。

1. 確率的重み平均では実際にどの程度の平均が得られるのでしょうか?
   • トレーニングの後半に複数のポイントでサンプリングされたモデルの重み
   • 個別にトレーニングされた複数のモデルの予測
   • すべてのミニバッチにわたって計算された勾配
   • 各エポック中に使用される学習率
2. SWA が一般化を改善する傾向があるのはなぜですか?
   • トレーニングセットをより正確に記憶します
   • 目に見えないデータに対してより堅牢な、より広く平坦な最小値を見つけます。
   • モデル内のパラメータの数が増加します
   • 検証セットが不要になります
3. バッチ正規化を使用するネットワークに対して SWA にはどのような追加手順が必要ですか?
   • ネットワークを最初から再トレーニングする
   • バッチサイズを2倍にする
   • BN 実行統計を再計算するための追加のフォワード パス
   • すべてのドロップアウト レイヤを削除する
4. SWA の平均化フェーズでは通常、どのような学習率の動作が使用されますか?
   • 学習率がちょうどゼロに減衰しました
   • 安定性のための学習率 1
   • トレーニングが凍結されているため、学習率がまったくありません
   • 一定または周期的な、比較的高い学習率
5. SWA の推論コストは、従来の N モデルのアンサンブルと比較してどうですか?
   • 結果として 1 セットの重みが得られるため、およそ 1 つのモデルのコストがかかります。
   • N倍高いよ
   • N モデルを実行しているのと同じです
   • 推論には使えない
6. Why does the batch-normalization adjustment belong after SWA weight averaging?
   • The averaging step deletes every convolution
   • Its running statistics must be recomputed for the averaged weights
   • It converts batch normalization into layer normalization
   • It restores the original optimizer learning rate
7. An SWA running mean combines n previous samples with a new weight vector w_i. Which update gives equal weight to all n+1 samples?
   • w_SWA + n · w_i
   • (w_SWA + w_i) divided by n
   • (n · w_SWA + w_i) divided by (n + 1)
   • n · (w_SWA − w_i)
8. Why is SWA commonly started during the later part of training?
   • It requires the model to remain at random initialization
   • It can only average models with different architectures
   • It replaces the training data with validation examples
   • It averages nearby useful checkpoints from a trajectory after the model has made substantial progress