降維
降維將資料從許多欄位（特徵）縮減到少數，同時保留重要的結構。
概述
It fights the 'curse of dimensionality,' speeds up models, and lets you actually visualize complex data in 2D or 3D.
深入探討
真實的資料集通常具有數百或數千個特徵：影像中的每個像素、詞彙中的每個單字、機器上的每個感測器。在這樣的高維空間中，資料點變得稀疏且相距較遠，距離測量變得不可靠，模型往往會過度擬合雜訊。這就是維度的詛咒。降維將資料映射到更少的維度，同時保留有意義的關係。 PCA 透過尋找最大變異數的方向來線性地實現這一點。 t-SNE 和 UMAP 是非線性的，擅長揭示集群以進行可視化。降低維度可以消除冗餘或雜訊特徵，減少記憶體和計算量，並且經常提高下游模型的準確性，因為混淆它的不相關訊號較少。
技術洞察
PCA 的工作原理是計算特徵的協方差並尋找沿著最大方差方向指向的特徵向量（「主成分」）。您保留最前面的幾個組件並將資料投影到它們上，丟棄主要是雜訊的低方差方向。相反，t-SNE 和 UMAP 對鄰居關係進行建模：它們嘗試將高維中接近的點保持在低維地圖中接近的點。 UMAP 建構了附近點的圖，這使得它比 t-SNE 更快，並且能夠更好地保留更廣泛的全局結構。
戰略影響
更明確的決策
它可以幫助您將清晰的技術聲明與行銷語言分開。
成本與預算
在花費金錢或時間之前，您可以提出更好的實施問題。
團隊與工作流程
具有共同理解的團隊可以做出更好的產品、政策和學習決策。
降維度的未來
降維現在是大型人工智慧管道中的例行步驟，而不是獨立的任務。 UMAP 在很大程度上已成為探索大型語言和視覺模型嵌入的預設方式，工程師將數千個維度投影到 2D 地圖中以檢查模型學到了什麼。預計與互動式儀表板的整合更加緊密，十億行資料集的 GPU 加速實現速度更快，並且在可解釋性工作中的使用越來越多，研究人員可以減少模型的內部活化來理解和調試其行為。
現實世界的實施
使用 UMAP 以 2D 形式繪製語言模型中的單字或句子嵌入，以查看模型將哪些概念組合在一起
在對疾病亞型進行聚類之前，將每個患者的數千個基因表現測量值壓縮為幾個組成部分
在將影像特徵輸入分類器之前減少影像特徵，以便訓練速度更快且不易過度擬合
將數百個指標的客戶行為視覺化為二維散點圖，以發現不同的細分市場
風險與防護欄
不同的團隊可能會以不同的方式使用相同術語，因此請儘早定義範圍。
基準測試可能看起來很強大，但實際效能卻參差不齊。
忽視數據品質和評估計劃通常會產生脆弱的結果。
實施路線圖
從您需要的結果的簡單語言定義開始。
在測試之前選擇一種成功指標和一種失敗條件。
使用代表性資料運行小型試點，而不是完善的演示集。
記錄降維在哪些方面有幫助以及哪些更簡單的方法更好。
不斷探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Dimensionality Reduction quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常見問題
What is Dimensionality Reduction?
降維將資料從許多欄位（特徵）縮減到少數，同時保留重要的結構。它可以對抗“維數災難”，加快模型速度，並讓您真正以 2D 或 3D 方式可視化複雜數據。
什麼是「維度詛咒」？
在非常高維的空間中，點分散得很遠，距離測量失效，因此模型很難找到模式並且傾向於過度擬合。
PCA 如何決定保留哪些方向？
PCA 找到主成分，即方差最大的軸，並保留頂部的成分，因為它們攜帶最多的資訊。
為什麼 PCA 被稱為「線性」方法？
每個主成分都是原始特徵的線性組合，因此 PCA 無法像 t-SNE 或 UMAP 那樣捕捉彎曲的非線性結構。
t-SNE 和 UMAP 特別擅長什麼？
兩者都是非線性技術，可將附近的點保持在低維地圖中附近，使簇在 2D 或 3D 中可見。