概述
它可以從密度模式推斷簇計數,而不需要提前要求 k,但其頻寬控制這些模式的規模並強烈影響結果。
深入探討
平均值漂移將觀測值視為來自基礎密度的樣本,並搜尋其模式或局部峰值。對於每個種子位置,它會檢查頻寬內的點並將種子移向這些鄰居的加權平均值。重複更新使種子在估計的密度表面上向上移動。收斂到相同模式附近的種子被分組為一個簇。此方法可以從模式推斷簇的數量,而不是要求固定的 k。頻寬是關鍵的規模參數。窄頻寬可以保留精細的局部凹凸,並可能產生許多小模式。寬頻寬可以更強烈地平滑密度,並且可以合併附近的峰值,從而可能隱藏有意義的子組。因此,即使未提供 k,估計的簇計數也不是無參數的。特徵縮放和內核距離也會影響哪些點對每次更新做出貢獻。在具有三個清晰密度峰值的假設二維資料集中,放置在空間中的種子可能會向這些峰值移動並匯聚。如果頻寬變得太大,兩個相鄰的峰值可能會融合為一個;如果太小,一個峰值可能會分裂成幾個。初始化或種子選擇會影響計算成本以及探索哪些吸引盆地。對於大型資料集來說,平均值漂移的成本可能很高,因為許多候選種子會重複查詢鄰居。當密度模式是對組別有意義的定義時,均值平移最適合。它可以應對不同的簇密度、高維距離行為和沒有清晰峰值的寬廣平坦區域。它不提供經過校準的成員資格機率。新點規則因實施而異; scikit-learn 將新點分配給最近的擬合中心,這是一種硬標籤規則,而不是校準的隸屬機率。檢查密度尺度和靈敏度,與替代方法進行比較,並評估這些模式是否支援下游任務。集群是在選定的核心和頻寬下的一種模式,而不是自動的自然類別。
現實世界的實施
假設的點雲有幾個密集的峰值。平均值偏移從種子開始,迭代地向附近點的局部平均值移動,直到移動很小;收斂的種子被分組為模式。
分析師使用非常小的頻寬並看到許多附近的模式。增加頻寬可以平滑密度並可以合併峰值,因此在選擇頻寬時要考慮到有意義的結構的規模。
團隊在使用基於距離的內核之前對特徵進行標準化,因為與以分數測量的特徵相比,以數千測量的特徵可以主導鄰域。
研究人員根據成對距離的子樣本估計頻寬以減少計算,然後檢查聚類分配在附近頻寬選擇下是否保持穩定。
均值漂移聚類的未來
當團隊在分配的組別旁邊顯示頻寬、種子策略和密度模式時,平均值漂移結果更容易評估。測試一系列合理的頻寬可以揭示簇計數是穩定的還是由任意平滑尺度創建的。對於大數據,二次採樣頻寬估計和種子分箱可以減少工作量,但應根據分配品質進行檢查。如果不同群體的密度差異很大,分析人員應該比較適應當地規模的方法。當模式搜尋結果的峰值對應於領域使用者可以解釋和採取行動的模式時,模式搜尋結果就具有實用價值。
付諸實踐
為什麼這很重要
- 成本與預算. 多年來,架構決策決定著效能和營運成本。
- 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
- 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。
留意
- 優化一項基準測試可以隱藏更廣泛的系統弱點。
- 基礎設施和維護成本常常被低估。
- 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。
後續步驟
- 在實施之前定義延遲、品質和成本目標。
- 在實際負載和資料條件下進行基準測試。
- 儀器監控錯誤、漂移和使用者影響。
- 在擴展之前準備回滾和事件回應路徑。
不斷探索
常見問題
什麼是均值平移聚類?
平均值平移是一種模式搜尋聚類方法,它反覆將候選中心移向估計資料密度較高的區域。它可以從密度模式推斷簇計數,而不需要提前要求 k,但其頻寬控制這些模式的規模並強烈影響結果。
均值漂移更新將種子移動到什麼方向?
更新將種子移向由附近核加權點確定的局部平均值。
是什麼決定了密度模式的平滑程度或局部細節程度?
頻寬設定鄰域尺度和密度平滑。
如果頻寬大幅增加,附近的密度峰值可能會發生什麼?
更廣泛的平滑尺度可以混合相鄰峰值並減少模式數量。
為什麼窄頻寬會產生過多的簇?
小頻寬保留了可能不代表有用組的細尺度凹凸。
當單位差異很大時,為什麼要在基於距離的平均值平移之前對特徵進行標準化?
特徵尺度影響距離,進而影響哪些觀測值接收局部核子權重。