K-最近鄰
K 最近鄰 (KNN) 透過查看 K 個最接近的範例並進行多數投票來對新資料點進行分類。
概述
It matters as one of the simplest, most intuitive algorithms in machine learning, requiring almost no training.
深入探討
KNN 是一個「惰性學習器」：它不進行真正的訓練，而只是儲存整個資料集。為了對新點進行分類，它測量到每個儲存範例的距離（通常是歐幾里德距離），找到 K 個最近鄰居，並分配其中最常見的類別。對於迴歸，它會平均鄰居的值。 K 的選擇很重要：小 K 對雜訊敏感且可能過度擬合，而大 K 可以平滑決策，但可能會模糊真實邊界。由於所有特徵都會影響距離，因此 KNN 需要特徵縮放，以便大範圍變數不會占主導地位。它的主要弱點是預測速度，因為每個查詢都會與整個資料集進行比較。
技術洞察
KNN 是非參數且基於實例的：它不對資料的形狀做出任何假設，並儲存範例而不是學習權重。距離度量、歐幾里德距離、曼哈頓距離或餘弦距離度量定義了“接近度”，並且它形成的決策邊界可能非常不規則。因為它將每個查詢與所有點進行比較，所以簡單查找速度很慢，因此庫使用 KD 樹、球樹或近似最近鄰索引來加速較低維度的搜尋。
戰略影響
更明確的決策
它可以幫助您將清晰的技術聲明與行銷語言分開。
成本與預算
在花費金錢或時間之前，您可以提出更好的實施問題。
團隊與工作流程
具有共同理解的團隊可以做出更好的產品、政策和學習決策。
K 最近鄰的未來
KNN 的核心思想是找到最相似的範例，為現代向量搜尋和檢索增強生成提供動力，其中系統獲取最近的嵌入向量以建立大型語言模型。 FAISS 和 HNSW 等近似最近鄰庫使十億級相似性搜尋變得實用。雖然最近鄰原則很少是大型管道中的最終分類器，但它作為語義搜尋和推薦的支柱比以往任何時候都更加相關。
現實世界的實施
推薦系統：推薦與使用者已經喜歡的類似的電影或產品。
手寫數字辨識：透過將數字與最相似的標記影像進行比較來對數字進行分類。
醫療診斷支持：根據檢驗結果最相似的患者預測病情。
語意搜尋：檢索最近的文字嵌入來回答向量資料庫中的查詢。
風險與防護欄
不同的團隊可能會以不同的方式使用相同術語，因此請儘早定義範圍。
基準測試可能看起來很強大，但實際效能卻參差不齊。
忽視數據品質和評估計劃通常會產生脆弱的結果。
實施路線圖
從您需要的結果的簡單語言定義開始。
在測試之前選擇一種成功指標和一種失敗條件。
使用代表性資料運行小型試點，而不是完善的演示集。
記錄 K 最近鄰在哪些方面有幫助以及在哪些方面更簡單的方法更好。
不斷探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the K-Nearest Neighbors quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常見問題
What is K-Nearest Neighbors?
K 最近鄰 (KNN) 透過查看 K 個最接近的範例並進行多數投票來對新資料點進行分類。它是機器學習中最簡單、最直覺的演算法之一，幾乎不需要訓練。
KNN 如何對新資料點進行分類？
KNN 找到 K 個最近的儲存範例，並分配其中最常見的類別（對於迴歸，它對它們的值進行平均）。
為什麼 KNN 被稱為「惰性學習器」？
KNN將所有工作推遲到預測時間；它只是記住資料集，而不是在訓練期間建立模型。
為什麼特徵縮放對於 KNN 很重要？
由於 KNN 依賴距離，未縮放的大範圍特徵可能會壓倒其他特徵，因此通常會對特徵進行歸一化。
如果您選擇一個非常小的 K，例如 K=1，會發生什麼？
一個很小的 K 讓單一有雜訊或標籤錯誤的鄰居決定結果，導致鋸齒狀的過度擬合邊界。
KNN 的主要實際缺點是什麼？
由於每個查詢必須測量到每個範例的距離，因此在大型資料集上預測可能會很慢，從而促使樹或近似搜尋加速。