XGBoost アルゴリズム

勾配ブースティングは、連続する学習者からの寄与の合計として予測を構築します。各ラウンドで、新しい学習者は、現在のモデルの誤差または勾配に基づいて目標を改善するように適合されます。 XGBoost は、特にツリー ブースタ向けに、この一般的なアプローチの効率的で正規化された実装を普及させました。これは、1 つの固定モデル構成ではなく、ライブラリとアルゴリズムのファミリーです。ツリーブースティングの場合、ツリーは既存の予測に構造化された補正を追加します。目標には、過度に複雑なツリーや大きなリーフ スコアを妨げる損失条件やペナルティを含めることができます。共通設定は、ツリーの深さまたはリーフ数、各新しいツリーに適用されるステップ サイズ、ブースティング ラウンドの数、および行または特徴のサブサンプリングを制御します。これらの設定は相互作用します。小さいステップではより多くのラウンドが必要になることが多く、ツリーの複雑さが大きくなると相互作用が適合する可能性もありますが、過剰適合することもあります。有用なワークフローは、明確な目的と評価の設計から始まります。特に行が人、場所、時間を共有する場合は、データを分割して展開を反映します。これらの制約を考慮した検証データまたは相互検証を使用して調整し、保持されたテスト セットで 1 回評価します。アプリケーションの必要に応じて、適切なメトリクスとキャリブレーションまたはサブグループの動作を検査します。高いリーダーボード スコアが別の母集団に転送されると推測しないでください。 XGBoost のエンジニアリング機能には、最適化されたツリー構造、スパース認識処理、ブースターとビルドに応じた分散実行またはアクセラレータ実行が含まれます。詳細はバージョンと構成によって異なります。ツリー ブースターは、多くの場合、非線形相互作用を伴う異種の表形式入力に対して適切に機能しますが、本質的にすべてのタスクに最適であるわけではありません。線形モデル、ランダム フォレスト、CatBoost、LightGBM、ニューラル ネットワーク、およびドメイン固有のベースラインは、さまざまな制約の下でより適切に適合する可能性があります。トレーニングと推論の間で、特徴処理と欠損値の規則の一貫性を保ちます。ライブラリのバージョン、目的、評価指標、パラメータを記録します。デプロイ可能なモデルの場合は、1 つのテスト指標だけで選択するのではなく、レイテンシ、メモリ、堅牢性、メンテナンス コストも測定します。