導航:首頁 > 源碼編譯 > 有監督的概率慢特徵分析演算法

有監督的概率慢特徵分析演算法

發布時間:2023-06-06 23:06:42

A. 降維演算法之LDA(線性判別降維演算法)--有監督

    LDA在模式識別領域( 比如人臉識別,艦艇識別等圖形圖像識別領域 )中有非常廣泛的應用,因此我們有必要了解下它的演算法原理。  

  不同於PCA方差最大化理論, LDA演算法的思想是將數據投影到低維空間之後,使得同一類數據盡可能的緊湊,不同類的數據盡可能的分散 。因此,LDA演算法是一種有監督的機器學習演算法。同時,LDA有如下兩個假設:(1)原始數據根據樣本均值進行分類。(2)不同類的數據擁有相同的協方差矩陣。當然,在實際情況中,不可能滿足以上兩個假設。但是 當數據主要是由均值來區分的時候,LDA一般都可以取得很好的效果 。

    (1)計算類內散度矩陣

    (2)計算類間散度矩陣

    (3)計算矩陣

    (4)對矩陣 進行特徵分解,計算最大的d個最大的特徵值對應的特徵向量組成W。

    (5)計算投影後的數據點

以上就是使用LDA進行降維的演算法流程。實際上LDA除了可以用於降維以外,還可以用於分類。 一個常見的LDA分類基本思想是假設各個類別的樣本數據符合高斯分布 , 這樣利用LDA進行投影後,可以利用極大似然估計計算各個累唄投影數據的均值和方差,進而得到該類別高斯分布的概率密度函數 。當一個新的樣本到來後,我們可以將它投影,然後將投影後的樣本特徵分別帶入各個類別的高斯分布概率密度函數,計算它屬於這個類別的概率,最大的概率對應的類別即為預測類別。LDA應用於分類現在似乎也不是那麼流行。

    class sklearn.discriminant_analysis.LinearDiscriminantAnalysis(solver='svd', shrinkage=None, priors=None, n_components=None, store_covariance=False, tol=0.0001)

參數:

(1)solver: str類型,默認值為"svd",

    svd:使用奇異值分解求解,不用計算協方差矩陣,適用於特徵數量很大的情形,無法使用參數收縮(shrinkage)。

    lsqr:最小平方QR分解,可以結合shrinkage使用。

    eigen:特徵值分解,可以結合shrinkage使用。

 (2)shrinkage: str or float類型,默認值為None

    是否使用參數收縮

    None:不使用參數收縮

    auto:str,使用Ledoit-Wolf lemma

    浮點數:自定義收縮比例。

   (3)components:int類型,需要保留的特徵個數,小於等於n-1

屬性:

(1)covariances_:每個類的協方差矩陣,shape = [n_features, n_features]

(2)means_:類均值,shape = [n_features, n_feateures]

(3)priors_:歸一化的先驗概率。

(4)rotations_:LDA分析得到的主軸,shape = [n_features, n_component]

(5)scalings_:數組列表,每個高斯分布的方差σ

     特點:

        降維之後的維數最多為類別數-1。所以當數據維度很高,但是類別數少的時候,演算法並不適用 。LDA演算法既可以用來降維,又可以用來分類。但是目前來說,主要還是用於降維。在我們 進行圖像識別相關的數據分析時,LDA是一個有力的工具 。

    優點:

   (1) LDA在樣本分類信息依賴均值而不是方差的時候,比PCA之類的演算法較優 。

   (2)在降維過程中可以使用類別的先驗知識經驗,而像PCA這樣的無監督學習則無法使用類別先驗知識。

    缺點:

    (1)LDA不適合非高斯分布樣本進行降維,PCA也存在這個問題。

    (2)LDA降維最多降到類別數K-1的維數,如果我們降維的維度大於k-1,則不能使用LDA。 當然目前有一些LDA的進化版演算法可以繞過這個問題 。

    (3) LDA在樣本分類信息依賴方差而不是均值的時候,降維效果不好 。

    (4)LDA可能過度擬合數據。

    二者都有 降維 的作用。

1.左 邊是PCA,屬於無監督方法 ,當數據沒有標簽時可以用它。 右邊是LDA,屬於監督學習方法 。考慮了數據的分類信息,這樣數據在低維空間上就可以分類了,減少了很多的運算量。

2. PCA主要是從特徵的協方差角度考慮,追求的是在降維之後能夠最大化保持數據的內在信息 。它不考慮分類信息,因此降低維度後,信息損失降到最低,但分類上可能會變得更加困難。 LDA追求的是降維後的數據點盡可能容易被區分 。降維後的樣本數據在新的維度空間有最大的類間距離和最小的類內方差,數據在低維空間有最佳的可分離性。

3. PCA降維後的維度數目是和數據維度相關的 ,原始數據是n維,那麼PCA後維度為1、2~n維。 LDA後的維度數目是和類別的個數相關的 ,原始數據是n維,一共有C個類別,那麼LDA後維度為1、2~C-1維。

4. PCA投影的坐標系都是正交的 。 LDA關注分類能力,不保證投影到的坐標系是正交的 。

B. 有監督和無監督的演算法分別有哪些

有監督學習演算法:

聚類分析(Cluster Analysis)

關聯規則挖掘(Association Rule Mining)

主成分分析(Principal Component Analysis,PCA)

獨立成分分析(Independent Component Analysis,ICA)

降維(Dimensionality Rection)

奇異值分解(Singular Value Decomposition,SVD)

非負矩陣分解(Non-negative Matrix Factorization,NMF)

概率圖模型(Probabilistic Graphical Models)

C. 有監督分類的演算法

監督分類(supervisedclassification)又稱訓練場地法,是以建立統計識別函數為理論基礎,依據典型樣本訓練方法進行分類的技術。
回歸:在建模的過程中需同時具備自變數x和因變數y,屬於有監督的學習演算法。輸出變數為離散型。

主要介紹:Logistic,決策樹,隨機森林,KNN,樸素貝則仿葉斯

tips:決策樹,隨機森林,KNN也可用於連續型變數的預測。

Logistic回歸:

思想:

高低。

Logistic針對坦盯此離散型因變數的判別,如客戶是否優質,客戶的流失率概率等。

將線性回歸的預測值經過非線性的Logit函數轉換為[0,1]之間的概率值。參數求解:結合迭代對每一個未知的參數做梯度下降,學習率的步長通常可以取0.1,0.05,0.01,太小時需要迭代太多次收斂速度過慢,過大時難以得到理想的值可能只是局部最小。參數解釋:優勢比/發生比之比,如腫瘤體積每增加一個單位讓迅,將會使癌症發生比變化e參數次倍。

D. knn演算法是有監督還是無監督

knn演算法是有監督機器學習演算法。

KNN法即K最鄰近法,最初由 Cover和Hart於1968年提態搏出,是一個理論上比較成熟的方法,也是最簡單的機器學習演算法之一。KNN是通過測量不同特徵值之間的距離進行分類州遲。

E. 有監督和無監督

1).監督式演算法:

    具有一個標準的本體,演算法通過學習對數據進行預測,從而與本體進行比較。(我知道我想要得到什麼)對數據,一部分數據用於訓練模型,另一部分用於比較模型的正確率,有多少的匹配度就是多少的正確率。

  2).無監督式演算法:

    不具有標準的本體,對於數據量龐大的數據集,我們想要找到其中隱藏的一些關系,則採用無監督式演算法。需要將數據轉化為一種有意義可比較的格式,最終得到的會是具有一定關系的集合。但是是否是我們想要的集合取決於我們自己。可以進行強制的刪減某些數據以達到我們預期的特定分割。

  3).強化式演算法:

   研究試圖對強化學習模型進行逆向反饋以改進問題和技術的一種演算法。是一種延時的機制。是一個連續做決策的過程,在一個過程中輸入的數據的返回值會影響到下一個輸入數據的返回值。演算法定義了reward,由於自己能夠察覺到signal並進行自己定義的action,演算法需要將結果與reward進行比較,最終反饋以改進模型。RL沒有被嚴格地監督,因為它不嚴格地依賴於受監督(或標記)數據集(訓練集)。它實際上依賴於能夠監控所採取行動的反應,並根據對獎勵的定義來衡量。但這也不是沒有監督的學習,因為我們知道,當我們對學習者進行建模時,這就是預期的回報。

閱讀全文

與有監督的概率慢特徵分析演算法相關的資料

熱點內容
阿里雲國內伺服器數量 瀏覽:455
壓縮機安全裕度 瀏覽:226
android交叉編譯環境 瀏覽:775
美團雲伺服器質量怎麼樣 瀏覽:396
蘋果手機游戲解壓包怎麼安裝 瀏覽:446
java程序員面試流程 瀏覽:681
遼寧圖片加密軟體地址 瀏覽:932
程序員35後應該學些啥技術 瀏覽:724
蘋果怎麼把app還原成ipa包 瀏覽:358
天正怎麼分解加密圖紙 瀏覽:829
你喜歡的大胸部電影 瀏覽:755
飛盧破解版網址 瀏覽:632
怎麼在米家app裡面找到小愛同學 瀏覽:208
網盤的小說在哪個文件夾 瀏覽:59
阿里程序員約炮 瀏覽:939
java語言程序設計題 瀏覽:464
法和經濟學pdf 瀏覽:703
statafgls命令 瀏覽:737
汽車壓縮機電磁閥檢測 瀏覽:543
c編譯器如何打開 瀏覽:760