概述
樹狀圖記錄合併順序和連結高度,讓分析人員檢查多個聚類切割,而結果仍取決於距離表示和連結規則。
深入探討
層次聚類表示多個層級的觀察值之間的關係,而不是只產生一個分區。在凝聚聚類中,每個觀察都從自己的聚類開始。此演算法重複合併根據連結規則判斷為最接近的一對簇,直到剩下一個簇或達到停止條件。分裂方法從一組開始並將其分裂,儘管凝聚方法更常見。連結定義了簇間距離。單聯動採用最小成對距離,可以透過附近點的鏈連接細長的組。完整的聯繫需要最大的成對距離,有利於更緊密的群體,但會對遙遠的成員做出反應。平均連鎖平均成對距離。 Ward 連接合併簇以最小化簇內平方和的增加,並與歐幾里德幾何相關。這些選擇可能會導致相同的觀察產生不同的樹。樹狀圖將層次結構視覺化。葉子代表觀察結果,分支連接顯示哪些簇合併以及以什麼距離或連結成本進行合併。在選定的高度砍伐樹木會形成平坦的集群;高度不會自動成為統計顯著性閾值。較大的垂直差距可能會建議削減候選者,但穩定性、團隊有用性和領域背景也很重要。對於大型資料集,樹狀圖可能變得不可讀,並且在關係處理方面的實作可能有所不同。距離和比例對結果有很大影響。除非縮放比例合適,否則具有更大數值範圍的特徵可以主導歐幾里德距離。對於大型資料集,該方法的計算成本可能很高,並且許多凝聚過程無法在沒有單獨擴展的情況下自然地將新觀察值分配給現有樹。選擇適合數據的距離和鏈接,然後評估對這些決策的敏感度。層次結構是指定幾何結構下的描述性結構,而不是證明自然包含單一正確的組集的證據。
現實世界的實施
假設的團隊從每個客戶一個集群開始,並應用平均鏈接,在每一步合併具有最小平均跨集群距離的對。
樹狀圖顯示兩個大分支合併的高度比早期連接的高度高得多。低於該高度的切割會產生兩組,但所選的切割對於分析目標也應該有意義。
分析師將單一連結(使用組間最近的對)與完整連結(使用最遠的對)進行比較。單聯動下的連結模式可以連接長長的點橋。
研究人員在計算距離之前對變數進行標準化,因為以年為單位的年齡和以美元為單位的收入在其他方面的貢獻是無可比擬的。
層次聚類的未來
當報告將樹狀圖與精確距離、縮放和連結選擇以及候選切割處的聚類摘要配對時,層次聚類更容易審查。分析師可以比較引導樣本的合理削減或小的預處理更改,以了解群體是否持續存在。對於大數據,採樣樹狀圖或可擴展的近似可能會有所幫助,同時清楚地註意到總結了哪些結構。下一步有用的是驗證小組是否支援真正的決策或後續分析。單獨的視覺分支分離不應作為自然類別的證據。
付諸實踐
為什麼這很重要
- 成本與預算. 多年來,架構決策決定著效能和營運成本。
- 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
- 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。
留意
- 優化一項基準測試可以隱藏更廣泛的系統弱點。
- 基礎設施和維護成本常常被低估。
- 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。
後續步驟
- 在實施之前定義延遲、品質和成本目標。
- 在實際負載和資料條件下進行基準測試。
- 儀器監控錯誤、漂移和使用者影響。
- 在擴展之前準備回滾和事件回應路徑。
不斷探索
常見問題
什麼是層次聚類?
層次聚類通常透過在凝聚過程中重複合併最近的聚類來建立嵌套的組序列。樹狀圖記錄合併順序和連結高度,讓分析人員檢查多個聚類切割,而結果仍取決於距離表示和連結規則。
凝聚層次聚類建構什麼序列?
凝聚法從單例簇開始,逐步合併對。
哪個連桿使用最遠的跨簇對?
完全連結需要兩個集群成員之間的最大距離。
樹狀圖合併高度編碼什麼?
高度反映了群體加入時連結標準的值,而不是本身的機率。
為什麼樹狀圖高度的大幅躍升會有用?
較大的差距可能會導致候選人被淘汰,但應檢查其穩定性和有用性。
為什麼單一連結可以建立連結模式?
因為它考慮最近的跨集群對,所以連續的本地網橋可以加入一條鏈。