サポートベクターマシン
サポート ベクター マシン (SVM) は、2 つのグループ間に可能な限り広い境界を引くことで 2 つのグループを分離する古典的なアルゴリズムです。
概要
It was one of the most powerful classifiers before deep learning and is still strong on small, clean datasets.
ディープダイブ
SVM は、境界と各クラスの最も近いデータ ポイントの間のギャップであるマージンを最大化する、超平面と呼ばれる決定境界を見つけます。これらの最も近い点は「サポート ベクター」であり、それらだけで境界を定義するため、モデルがコンパクトになり、エッジから遠く離れた外れ値に対して耐性が得られます。データを直線で分割できない場合、カーネル トリックは、それらの座標を直接計算することなく、明確な分離が存在する高次元空間にデータをマッピングします。ソフト マージンでは、パラメーター C によって制御される一部の誤分類が許容されるため、モデルはトレーニング エラーに対して広いマージンのバランスをとります。 SVM は、テキスト分類やバイオインフォマティクスなど、特徴は多くても例が少ない場合に優れています。
技術的な洞察
マージンの最大化は凸最適化問題であるため、ニューラル ネットワークとは異なり、SVM には単一のグローバル最適値があります。カーネル トリックは、データ ポイント間のドット積を、高次元空間の類似性を暗黙的に計算する動径基底関数 (RBF) や多項式カーネルなどのカーネル関数に置き換えます。これにより、直線的な方法で曲線の境界を安価に描画できるようになります。 2 つのハイパーパラメータが調整を支配します。C はエラーに対するマージン幅をトレードオフし、もう 1 つは RBF カーネルのガンマで、各ポイントの影響がどこまで到達するかを設定します。
戦略的影響
より明確な判決
これは、明確な技術的主張とマーケティング言語を区別するのに役立ちます。
費用と予算
お金や時間を費やす前に、実装に関するより良い質問をすることができます。
チームとワークフロー
共通の理解を持ったチームは、製品、ポリシー、学習に関する意思決定をより適切に行うことができます。
サポートベクターマシンの未来
SVM は、大規模で複雑なデータセットに対するディープ ラーニングや勾配ブースト ツリーに大きく取って代わられていますが、データが希少で高次元である場合、または強力でよく理解されたベースラインが必要な場合には、依然として信頼できる選択肢となります。これらは、教育、バイオインフォマティクスやテキスト タスク、さらには小規模で高速なモデルが重いネットワークに勝つリソースが限られた環境においても一般的です。 SVM は、新しい研究の最前線ではなく、信頼できる古典的なツールおよびベンチマークとして存続すると予想されます。
現実世界の実装
テキストとスパムの分類。文書には何千もの単語の特徴が含まれますが、例は限られています。
深層学習が主流になる前の、小規模なデータセットでの画像分類。
多くの特徴と少数のサンプルによるバイオインフォマティクスにおけるがんと遺伝子発現の分類。
手書き数字認識。MNIST データセットの古典的な SVM ベンチマーク。
リスクとガードレール
チームが異なれば、同じ用語の使用方法も異なる可能性があるため、範囲を早めに定義してください。
ベンチマークは好調に見えても、実際のパフォーマンスにはばらつきがある場合があります。
データの品質と評価計画を無視すると、多くの場合、脆弱な結果が生じます。
実装ロードマップ
必要な結果を平易な言葉で定義することから始めます。
テストする前に、成功指標と失敗条件を 1 つ選択します。
洗練されたデモセットではなく、代表的なデータを使用して小規模なパイロットを実行します。
サポート ベクター マシンが役立つ場合と、より単純な方法の方が優れている場合を文書化します。
探検を続けましょう
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Support Vector Machines quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
次のガイド
機械学習の基礎
よくある質問
What is Support Vector Machines?
サポート ベクター マシン (SVM) は、2 つのグループ間に可能な限り広い境界を引くことで 2 つのグループを分離する古典的なアルゴリズムです。これはディープ ラーニングが登場する前は最も強力な分類器の 1 つであり、小規模でクリーンなデータセットに対しては依然として強力です。
サポート ベクター マシンは何を最大化しようとしますか?
SVM は、最も堅牢な分離のために、マージン、つまり各クラスの最も近い点までの距離を最大化する超平面を見つけます。
SVM の「サポート ベクター」とは何ですか?
境界に最も近い点、つまりサポート ベクトルのみが超平面を決定します。他の点は変更せずに移動できます。
カーネルトリックはどのような問題を解決しますか?
カーネル トリックは、直線境界が機能する高次元空間にデータを暗黙的にマッピングし、安価に曲線分離を可能にします。
パラメータ C はソフト マージン SVM で何を制御しますか?
C は、ある程度のトレーニング エラーを許容することに対して大きなマージンを持たせてバランスをとります。 C が小さいほど、マージンが広く、許容範囲が広いことを意味します。
柔軟な曲線の境界を作成するために一般的に使用されるカーネルはどれですか?
RBF (ガウス) カーネルは、距離に基づいて類似性を測定する一般的なデフォルトであり、滑らかな非線形境界を可能にします。