導航:首頁 > 源碼編譯 > knn回歸演算法

knn回歸演算法

發布時間:2025-06-30 12:42:15

Ⅰ 什麼叫做knn演算法

在模式識別領域中,最近鄰居法(KNN演算法,又譯K-近鄰演算法)是一種用於分類和回歸的非參數統計方法。

在這兩種情況下,輸入包含特徵空間(Feature Space)中的k個最接近的訓練樣本。

1、在k-NN分類中,輸出是一個分類族群。一個對象的分類是由其鄰居的「多數表決」確定的,k個最近鄰居(k為正整數,通常較小)中最常見的分類決定了賦予該對象的類別。若k=1,則該對象的類別直接由最近的一個節點賦予。

2、在k-NN回歸中,輸出是該對象的屬性值。該值是其k個最近鄰居的值的平均值。

最近鄰居法採用向量空間模型來分類,概念為相同類別的案例,彼此的相似度高,而可以藉由計算與已知類別案例之相似度,來評估未知類別案例可能的分類。

K-NN是一種基於實例的學習,或者是局部近似和將所有計算推遲到分類之後的惰性學習。k-近鄰演算法是所有的機器學習演算法中最簡單的之一。

無論是分類還是回歸,衡量鄰居的權重都非常有用,使較近鄰居的權重比較遠鄰居的權重大。例如,一種常見的加權方案是給每個鄰居權重賦值為1/ d,其中d是到鄰居的距離。

鄰居都取自一組已經正確分類(在回歸的情況下,指屬性值正確)的對象。雖然沒要求明確的訓練步驟,但這也可以當作是此演算法的一個訓練樣本集。

k-近鄰演算法的缺點是對數據的局部結構非常敏感。

K-均值演算法也是流行的機器學習技術,其名稱和k-近鄰演算法相近,但兩者沒有關系。數據標准化可以大大提高該演算法的准確性。

參數選擇

如何選擇一個最佳的K值取決於數據。一般情況下,在分類時較大的K值能夠減小雜訊的影響,但會使類別之間的界限變得模糊。一個較好的K值能通過各種啟發式技術(見超參數優化)來獲取。

雜訊和非相關性特徵的存在,或特徵尺度與它們的重要性不一致會使K近鄰演算法的准確性嚴重降低。對於選取和縮放特徵來改善分類已經作了很多研究。一個普遍的做法是利用進化演算法優化功能擴展,還有一種較普遍的方法是利用訓練樣本的互信息進行選擇特徵。

在二元(兩類)分類問題中,選取k為奇數有助於避免兩個分類平票的情形。在此問題下,選取最佳經驗k值的方法是自助法。

閱讀全文

與knn回歸演算法相關的資料

熱點內容
手機游戲被盜該怎樣加密密碼 瀏覽:777
pdf文件文字復制 瀏覽:181
孕婦運動app哪個好用 瀏覽:892
phpredis資料庫設計 瀏覽:195
腹部有壓縮感不舒服 瀏覽:959
三層立柱腰筋需要加密嗎 瀏覽:293
蘋果手機伺服器如何更改 瀏覽:62
變頻空調壓縮機好壞 瀏覽:27
銳捷雲桌面伺服器版還原 瀏覽:777
享庫生活源碼 瀏覽:403
廣發app付款碼在哪裡找 瀏覽:609
冷庫壓縮機接線 瀏覽:377
檢測睡眠的app哪個好 瀏覽:31
加密文件在隱私空間哪裡打開 瀏覽:336
單片機大屏 瀏覽:320
python實現ssh登錄 瀏覽:437
滴滴車內錄音怎麼加密 瀏覽:935
php組合模式 瀏覽:768
負責支付寶安全的程序員 瀏覽:483
linux解壓所有gz的包 瀏覽:735