ハイパーパラメータのベイジアン最適化

ハイパーパラメーターの最適化では、学習率、ツリーの深さ、正則化の強度などの設定を検索します。グリッド検索は、固定の組み合わせセットを評価します。ランダム検索は、結果に適応せずに設定をサンプリングします。ベイジアン最適化では、設定と検証パフォーマンスの間の未知の関係の代理モデルを構築し、取得関数を使用して次にどの構成を評価するかを決定します。これは、各評価が高価であり、検索スペースが管理可能な場合に役立ちます。一般的な代用方法はガウス過程であり、候補設定の平均パフォーマンスと不確実性の両方を予測します。期待される改善、改善の確率、または不確実な領域の探査で有望に見える設定のトレードオフの上限信頼限界などの取得ルール。サロゲートは評価のたびに更新されます。ツリーベースのモデルを含む他のサロゲートは、さまざまな空間やスケール特性を処理できます。仮説的な実験で、残りのトレーニング実行が 6 回しかないとします。サロゲートは、不確実性の高い領域をテストしながら、現在の最良に近い設定を提案する場合があります。これは、事前に選択した 6 つのグリッド ポイントを評価するよりも適応性が高くなりますが、全体的に最適な結果が保証されるわけではありません。不十分な検索範囲、ノイズの多い検証スコア、またはサロゲートの指定が間違っている場合、提案が弱くなる可能性があります。目標は展開を反映し、最終的なテスト セットとは別の検証データを使用する必要があります。時系列の場合は、時間的順序を維持します。グループ化されたデータの場合は、必要に応じてエンティティを分離してください。テスト セットを繰り返しチューニングすると、そのセットからの情報が選択肢に漏洩し、最終的なパフォーマンスが楽観的になります。ハイパーパラメータの最適化は、特に多くの試行を行った後では、ノイズの多い検証基準を過剰適合させる可能性もあります。すべての評価、ランダムシード、停止決定を追跡します。構成を選択したら、賢明なベースラインと比較し、変動性を評価し、最終評価を実行します。ベイジアン最適化は探索戦略であり、健全な実験計画や十分な計算の代替となるものではありません。