概述
它提供了没有真实标签的内部聚类诊断,但其假设和度量可能有利于紧凑、独立的组,并且无法确定聚类是否有用。
深入探討
聚類通常沒有目標標籤,因此內部指標僅使用資料和分配的群組來評估結構。對於觀測值 i,令 a(i) 為其到其自身簇中其他點的平均距離。令 b(i) 為從 i 到任何其他簇中的點的最小平均距離。輪廓係數為 (b-a)/max(a,b),當距離定義時,其範圍為 -1 到 1。接近 1 的值表示觀測值更接近其自己的簇,而不是另一個簇。接近零的值表示邊界位置,負值表示另一個簇可能更接近。總體輪廓得分對觀察值的係數進行平均。高平均值可以支持所選距離下緊湊、分離的簇,但並不能證明這些組是有意義的。一個大的簇可以主導平均值,並且一些分配不當的點可能會被隱藏。檢查每個簇和每個點的值、簇大小和視覺化。分數還取決於距離測量和特徵縮放。 Davies-Bouldin 將簇內散射與簇間分離進行比較;根據其定義,通常越低越好。 Calinski-Harabasz 比較了簇間色散與簇內色散;一般來說越高越好。這些指數具有不同的規模和偏好,因此不要將一個指標中較大的原始數字視為與另一個指標具有可比性。他們的假設也可能有利於某些集群形狀或平衡。當標籤可用時,內部指標不能取代外部驗證,也不能取代評估下游效用。輪廓分數可能有利於幾何上乾淨但操作上無意義的分區。相反,具有不規則形狀的有用簇可能會獲得適度的分數。比较一致数据和预处理的候选方法,检查重采样和参数变化下的稳定性,并询问领域用户这些组是否支持真正的决策。如果集群是用來服務人們的,評估覆蓋範圍和危害以及幾何分離。
現實世界的實施
點的平均簇內距離 a=2,最近的其他簇距離 b=5。它的輪廓是 (5-2)/max(2,5)=0.6,顯示它比替代簇更接近其分配的簇。
簇邊界附近的點有 a=4 和 b=3,給出 (3-4)/4=-0.25。負值表示該點平均而言更接近所選指標下的另一個聚類。
分析师根据相同的标准化特征比较候选 k 均值聚类计数的轮廓值,然后检查聚类大小以及各组是否回答了业务问题。
一个团队还审查了 Davies-Bouldin 和 Calinski-Harabasz 指数,但避免直接比较它们的原始值,因为它们使用不同的公式和首选方向。
Silhouette Score 與聚類評估的未來
聚類評估報告可以透過顯示每個聚類的分佈、大小、預處理和距離測量以及平均值,使內部分數更加有用。然後,團隊可以將幾何證據與穩定性和下游結果進行比較,而不是單獨選擇最高分。如果已知標籤或人為判斷可用,請使用外部檢查,同時防止循環評估。隨著人口的變化,重複穩定性和效用檢查。指標儀表板應解釋首選方向和限制,以便使用者不會將係數解釋為聚類品質的通用等級。
付諸實踐
為什麼這很重要
- 成本與預算. 多年來,架構決策決定著效能和營運成本。
- 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
- 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。
留意
- 優化一項基準測試可以隱藏更廣泛的系統弱點。
- 基礎設施和維護成本常常被低估。
- 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。
後續步驟
- 在實施之前定義延遲、品質和成本目標。
- 在實際負載和資料條件下進行基準測試。
- 儀器監控錯誤、漂移和使用者影響。
- 在擴展之前準備回滾和事件回應路徑。
不斷探索
常見問題
什麼是Silhouette分數和聚類評估?
輪廓係數將每個觀測值與其自身聚類的平均距離與其與最近的替代聚類的距離進行比較。它提供了没有真实标签的内部聚类诊断,但其假设和度量可能有利于紧凑、独立的组,并且无法确定聚类是否有用。
當a=2且b=5時,輪廓係數(b-a)/max(a,b)是多少?
分子為 3,分母為 5,因此係數為 0.6。
一個點有 a=4 和 b=3。它的負輪廓顯示什麼?
由於 b 小於 a,因此另一個簇平均比分配的簇更接近。
對於一次觀察,接近零的輪廓通常顯示什麼?
類似的 a 和 b 值將觀測值置於度量下的聚類邊界附近。
Davies-Bouldin 指數通常首選哪個方向?
Davies-Bouldin 通常被解釋為較低的值,表明相對於散射更有利的分離。
為什麼原始 Davies-Bouldin 值和 Calinski-Harabasz 值不應該直接比較?
這些指數有不同的數學定義、尺度和最佳化方向。