次元削減
次元削減により、重要な構造を維持しながら、多くの列 (特徴) のデータが少数に縮小されます。
概要
It fights the 'curse of dimensionality,' speeds up models, and lets you actually visualize complex data in 2D or 3D.
ディープダイブ
実際のデータセットには、画像内のすべてのピクセル、語彙内のすべての単語、マシン上のすべてのセンサーなど、数百または数千の特徴が含まれることがよくあります。このような高次元空間では、データ点がまばらで遠く離れ、距離測定の信頼性が低くなり、モデルはノイズを過剰適合する傾向があります。これが次元の呪いです。次元削減では、意味のある関係を維持しながら、データをはるかに少ない次元にマップします。 PCA は、最大分散の方向を見つけることでこれを線形に実行します。 t-SNE と UMAP は非線形であり、視覚化のためのクラスターを明らかにすることに優れています。次元を削減すると、冗長なフィーチャやノイズの多いフィーチャが削除され、メモリと計算が削減され、混乱を招く無関係な信号が減るため、ダウンストリーム モデルの精度が向上することがよくあります。
技術的な洞察
PCA は、特徴の共分散を計算し、最大分散の方向を指す固有ベクトル、つまり「主成分」を見つけることによって機能します。上位のいくつかのコンポーネントを保持し、それらにデータを投影し、ほとんどがノイズである分散の低い方向を破棄します。代わりに、t-SNE と UMAP は近隣関係をモデル化します。これらは、高次元で近かった点を低次元マップでも近くに保とうとします。 UMAP は近くのポイントのグラフを構築するため、t-SNE よりも高速で、より広範なグローバル構造の保存に優れています。
戦略的影響
より明確な判決
これは、明確な技術的主張とマーケティング言語を区別するのに役立ちます。
費用と予算
お金や時間を費やす前に、実装に関するより良い質問をすることができます。
チームとワークフロー
共通の理解を持ったチームは、製品、ポリシー、学習に関する意思決定をより適切に行うことができます。
次元削減の未来
次元削減は現在、スタンドアロンのタスクではなく、大規模な AI パイプライン内の日常的なステップになっています。 UMAP は、大規模な言語モデルやビジョン モデルからの埋め込みを探索するためのデフォルトとなっており、エンジニアは数千の次元を 2D マップに投影して、モデルが学習した内容を検査します。インタラクティブなダッシュボードとのより緊密な統合、10 億行のデータセットに対する GPU アクセラレーションによる実装の高速化、研究者がモデルの動作を理解してデバッグするためにモデルの内部アクティベーションを削減する解釈可能性の研究での使用の増加が期待されます。
現実世界の実装
UMAP を使用して言語モデルからの単語または文の埋め込みを 2D でプロットし、モデルがどの概念をグループ化しているかを確認する
疾患のサブタイプをクラスタリングする前に、患者あたり数千の遺伝子発現測定値をいくつかのコンポーネントに圧縮する
分類器にフィードする前に画像の特徴を削減することで、トレーニングが高速化され、過剰適合が起こりにくくなります。
数百の指標にわたる顧客の行動を 2D 散布図として視覚化し、異なる市場セグメントを特定します
リスクとガードレール
チームが異なれば、同じ用語の使用方法も異なる可能性があるため、範囲を早めに定義してください。
ベンチマークは好調に見えても、実際のパフォーマンスにはばらつきがある場合があります。
データの品質と評価計画を無視すると、多くの場合、脆弱な結果が生じます。
実装ロードマップ
必要な結果を平易な言葉で定義することから始めます。
テストする前に、成功指標と失敗条件を 1 つ選択します。
洗練されたデモセットではなく、代表的なデータを使用して小規模なパイロットを実行します。
次元削減が役立つ場合と、より単純な方法の方が優れている場合を文書化します。
探検を続けましょう
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Dimensionality Reduction quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
次のガイド
Barlow Twins と冗長性の削減
よくある質問
What is Dimensionality Reduction?
次元削減により、重要な構造を維持しながら、多くの列 (特徴) のデータが少数に縮小されます。 「次元の呪い」と闘い、モデルを高速化して、複雑なデータを実際に 2D または 3D で視覚化できるようにします。
「次元の呪い」とは何ですか？
非常に高次元の空間では、点が遠く離れて広がり、距離の測度が崩れるため、モデルはパターンを見つけるのに苦労し、過剰適合する傾向があります。
PCA はどの方向を維持するかをどのように決定しますか?
PCA は主成分、つまり最大分散の軸を見つけ、最も多くの情報を保持しているため上位のものを保持します。
PCA が「線形」手法と呼ばれるのはなぜですか?
各主成分は元の特徴の線形結合であるため、PCA は t-SNE や UMAP のように湾曲した非線形構造を捕捉することはできません。
t-SNE と UMAP は特に何が優れていますか?
どちらも、低次元マップ内で近くの点を近くに保持し、クラスターを 2D または 3D で表示できるようにする非線形技術です。