テクニカルガイド
ハイパーパラメータの調整
ハイパーパラメーターは、学習率やモデル サイズなど、モデルが独自に学習しない、トレーニング前に選択する設定です。
このガイドを聴くAIによるナレーション · ~2 min
概要
Tuning them well is often the difference between a mediocre model and a great one.
ディープダイブ
モデルのパラメーター (重み) は、トレーニング中にデータから学習されます。ハイパーパラメータは異なります。ハイパーパラメータは、学習率、バッチ サイズ、層の数、正則化の強度、トレーニング時間など、学習の発生方法を制御する事前に設定したノブです。これらは勾配降下法によって直接最適化することはできないため、多くの候補モデルをトレーニングし、検証セットで比較することによって適切な値を検索します。最も単純なアプローチはグリッド検索で、事前定義されたグリッドですべての組み合わせを試しますが、スケールが非常に大きくなります。ランダム検索では、組み合わせをサンプリングすることで、適切な設定をより速く見つけることができます。より高度なベイジアン最適化では、どの設定が有望であるかの確率モデルを構築し、そこに焦点を当てて検索します。通常、学習率は、正しく設定するために最も影響力のある単一のハイパーパラメータです。
現実世界の実装
学習率を数桁にわたってスイープして、ネットワークが分岐せずに高速にトレーニングされる値を見つけます。
ランダム検索を使用して、表形式データの勾配ブースティング モデルのツリーの深さ、ツリーの数、学習率を調整します。
ベイジアン最適化を実行して、限られた GPU 予算でディープ ネットワークの正則化強度とバッチ サイズを共同調整します。
ハイパーバンドを適用して数十の構成を短期間トレーニングし、最も有望な生存者のみにさらにエポックを与えます。
ハイパーパラメータ調整の未来
手動およびグリッドベースのチューニングは、自動機械学習 (AutoML) や、コンピューティングをはるかに効率的に使用するベイジアン最適化やハイパーバンドなどのよりスマートな検索に取って代わられています。基礎モデルが成長するにつれて、トライアルごとの完全な再トレーニングは法外に高価になるため、より安価なプロキシ、小規模な実行から適切な設定を予測するスケーリング則、モデル全体ではなく軽量アダプターのチューニングに注目が移っています。検索コストと期待される利益を明示的に交換するツールを使用して、チューニングがますます自動化され、予算を意識したものになることが予想されます。
実践する
なぜそれが重要なのか
- 費用と予算. アーキテクチャの決定により、パフォーマンスと運用コストが何年にもわたって推進されます。
- より明確な判決. 技術教育は、チームが最新のスタックだけでなく、適切なスタックを選択するのに役立ちます。
- 品質管理. より良いエンジニアリングの選択により、本番環境での信頼性に関するインシデントが減少します。
気をつけてください
- 1 つのベンチマークを最適化すると、より広範なシステムの弱点が隠れる可能性があります。
- インフラストラクチャとメンテナンスのコストは過小評価されがちです。
- システムが複雑になるにつれて、セキュリティと可観測性のギャップが拡大する可能性があります。
次のステップ
- 実装前にレイテンシ、品質、コストの目標を定義します。
- 現実的な負荷とデータ条件でのベンチマーク。
- エラー、ドリフト、ユーザーへの影響を計測器で監視します。
- スケーリングの前に、ロールバックとインシデント対応のパスを準備します。
探検を続けましょう
よくある質問
What is Hyperparameter Tuning?
ハイパーパラメーターは、学習率やモデル サイズなど、モデルが独自に学習しない、トレーニング前に選択する設定です。多くの場合、それらを適切にチューニングすることが、平凡なモデルと優れたモデルの違いとなります。
ハイパーパラメータと通常のモデルパラメータの違いは何ですか?
重み (パラメータ) はトレーニング中にデータから学習されます。学習率やレイヤー数などのハイパーパラメーターは事前に選択され、トレーニングの進行方法を制御します。
深層学習で調整する単一の最も影響力のあるハイパーパラメータはどれですか?
学習率は、モデルが収束するかどうか、またその収束速度に大きく影響します。高すぎるとトレーニングが発散します。低すぎると這ったり、引っかかったりします。
ハイパーパラメータ調整においてランダム検索がグリッド検索よりも優れていることが多いのはなぜですか?
グリッド検索では、重要でない次元での試行が無駄になります。ランダム検索はスペースをより効率的に探索し、多くの場合、少ない試行回数で適切な構成に到達します。
ベイジアン最適化では、次に試行するハイパーパラメータ構成をどのように選択するのでしょうか?
ベイジアン最適化では、構成と検証スコアの関係をモデル化し、不確実な領域の探索と有望な領域の活用のバランスをとるために次のトライアルを選択します。
ハイパーパラメータ調整中に最終テスト セットを変更しない必要があるのはなぜですか?
チューニングでは、評価するデータに最も適した設定が選択されます。それがテスト セットである場合、報告されるパフォーマンスは水増しされます。チューニングでは代わりに別の検証セットを使用します。