ハイパーパラメータ調整クイズ

クイズに答えると、答えと解説が表示されます。

1. ハイパーパラメータと通常のモデルパラメータの違いは何ですか?
   • ハイパーパラメータはトレーニング前に設定され、データから直接学習されるものではありません
   • ハイパーパラメータはトレーニング中に勾配降下法によって自動的に学習されます
   • ハイパーパラメータは線形モデルにのみ存在します
   • それらの間に実質的な違いはありません
2. 深層学習で調整する単一の最も影響力のあるハイパーパラメータはどれですか?
   • ランダムな種
   • 学習率
   • データセットのファイル形式
   • オプティマイザー変数の名前
3. ハイパーパラメータ調整においてランダム検索がグリッド検索よりも優れていることが多いのはなぜですか?
   • 常により多くの合計の組み合わせを試行します
   • 検証セットは必要ありません
   • 空間をより効率的にサンプリングし、すべてのグリッド ポイントを網羅することなく適切な値を見つけます。
   • 重みとハイパーパラメータを同時に学習します
4. ベイジアン最適化では、次に試行するハイパーパラメータ構成をどのように選択するのでしょうか?
   • 毎回完全にランダムに構成を選択します
   • 常に最も多くのレイヤーを含む構成が選択されます
   • 前回のトライアルの設定を正確にコピーします
   • どの設定が有望に見えるかのモデルを構築し、不確実性の探求と良好な結果の活用のバランスをとります。
5. ハイパーパラメータ調整中に最終テスト セットを変更しない必要があるのはなぜですか?
   • これに合わせてチューニングすると情報が漏洩し、実際のパフォーマンスが楽観的すぎる推定値になってしまうためです。
   • 重みの計算にはテスト セットが使用されるため、
   • テスト セットは常に検証セットよりも小さいため、
   • ハイパーパラメータはテストセットに保存されるため
6. ハイパーバンドのような早期停止スキームは、ハイパーパラメータ調整においてどのような問題を解決しますか?
   • 学習率が不要になります
   • パフォーマンスの低いトライアルを早期に終了し、有望なトライアルにリソースを与えることでコンピューティングを節約します。
   • モデルが過剰適合しないことを保証します
   • ハイパーパラメータを学習可能なパラメータに変換します
7. In Bayesian hyperparameter optimization, what role does the probabilistic surrogate model play?
   • It replaces training every candidate with a guaranteed exact score
   • It updates model weights during the final test
   • It estimates how promising configurations may be and guides the next trial
   • It labels the training examples
8. Why should tuning trials be compared on a validation set rather than the final test set?
   • The test set cannot contain labels
   • The validation set is always larger
   • The model cannot predict on a test set
   • Repeated test-set feedback would leak information and make the final estimate overoptimistic