幾種降維演算法

⑴ matlab中的降維函數是什麼

drttoolbox : Matlab Toolbox for Dimensionality Rection是Laurens van der Maaten數據降維的工具箱。
裡面囊括了幾乎所有的數據降維演算法：
- Principal Component Analysis ('PCA')
- Linear Discriminant Analysis ('LDA')
- Independent Component Analysis ('ICA')
- Multidimensional scaling ('MDS')
- Isomap ('Isomap')
- Landmark Isomap ('LandmarkIsomap')
- Locally Linear Embedding ('LLE')
- Locally Linear Coordination ('LLC')
- Laplacian Eigenmaps ('Laplacian')
- Hessian LLE ('HessianLLE')
- Local Tangent Space Alignment ('LTSA')
- Diffusion maps ('DiffusionMaps')
- Kernel PCA ('KernelPCA')
- Generalized Discriminant Analysis ('KernelLDA')
- Stochastic Neighbor Embedding ('SNE')
- Neighborhood Preserving Embedding ('NPE')
- Linearity Preserving Projection ('LPP')
- Stochastic Proximity Embedding ('SPE')
- Linear Local Tangent Space Alignment ('LLTSA')
- Simple PCA ('SPCA')

⑵ 請問當今比較流行的數據降維演算法有哪些

這個要看你的需求和數據的data distribution，找到最合適的演算法解決你的問題。
如果數據分布比較簡單，線性映射降維就夠了，比如PCA、ICA。
如果數據分布比較復雜，可能需要用到manifold learning，具體演算法比如SOM、MDS、ISOMAP、LLE，另外deep learning也可以用來做降維。

⑶ 機器學習有幾種演算法

1. 線性回歸

工作原理：該演算法可以按其權重可視化。但問題是，當你無法真正衡量它時，必須通過觀察其高度和寬度來做一些猜測。通過這種可視化的分析，可以獲取一個結果。

2. 邏輯回歸

根據一組獨立變數，估計離散值。它通過將數據匹配到logit函數來幫助預測事件。

3. 決策樹

利用監督學習演算法對問題進行分類。決策樹是一種支持工具，它使用樹狀圖來決定決策或可能的後果、機會事件結果、資源成本和實用程序。根據獨立變數，將其劃分為兩個或多個同構集。

4. 支持向量機(SVM)

基本原理(以二維數據為例)：如果訓練數據是分布在二維平面上的點，它們按照其分類聚集在不同的區域。基於分類邊界的分類演算法的目標是，通過訓練，找到這些分類之間的邊界(直線的――稱為線性劃分，曲線的――稱為非線性劃分)。對於多維數據(如N維)，可以將它們視為N維空間中的點，而分類邊界就是N維空間中的面，稱為超面(超面比N維空間少一維)。線性分類器使用超平面類型的邊界，非線性分類器使用超曲面。

5. 樸素貝葉斯

樸素貝葉斯認為每個特徵都是獨立於另一個特徵的。即使在計算結果的概率時，它也會考慮每一個單獨的關系。

它不僅易於使用，而且能有效地使用大量的數據集，甚至超過了高度復雜的分類系統。

6. KNN(K -最近鄰)

該演算法適用於分類和回歸問題。在數據科學行業中，它更常用來解決分類問題。

這個簡單的演算法能夠存儲所有可用的案例，並通過對其k近鄰的多數投票來對任何新事件進行分類。然後將事件分配給與之匹配最多的類。一個距離函數執行這個測量過程。

7. k – 均值

這種無監督演算法用於解決聚類問題。數據集以這樣一種方式列在一個特定數量的集群中：所有數據點都是同質的，並且與其他集群中的數據是異構的。

8. 隨機森林

利用多棵決策樹對樣本進行訓練並預測的一種分類器被稱為隨機森林。為了根據其特性來分類一個新對象，每棵決策樹都被排序和分類，然後決策樹投票給一個特定的類，那些擁有最多選票的被森林所選擇。

9. 降維演算法

在存儲和分析大量數據時，識別多個模式和變數是具有挑戰性的。維數簡化演算法，如決策樹、因子分析、缺失值比、隨機森林等，有助於尋找相關數據。

10. 梯度提高和演演算法

這些演算法是在處理大量數據，以作出准確和快速的預測時使用的boosting演算法。boosting是一種組合學習演算法，它結合了幾種基本估計量的預測能力，以提高效力和功率。

綜上所述，它將所有弱或平均預測因子組合成一個強預測器。

⑷ 文本分類中如何降維

你的問題其實在數據挖掘裡面不難，其實也沒有涉及到降維，真在的降維是數量級的降維。
你的這個問題應該按照以下方案處理：
1、對文本做共現詞彙統計，可以統計相鄰距離不超5的詞，也可以統計鄰接詞。
2、選擇共現比較多的組合作為特徵，加入特徵集。
3、生成訓練模型。
傳統特徵選擇的方法包括以下幾種：信息增益（IG），互信息（MI），卡方檢驗（卡方 ），最大熵等。降維的方法可以使用粗糙集（Rough Set，RS）屬性約簡。分類器構築可以使用SVM等工具

⑸ 數據分析 常用的降維方法之主成分分析

數據分析：常用的降維方法之主成分分析

主成分分析（Principal Component Analysis，PCA）也稱主分量分析，旨在利用降維的思想，把多指標轉化為少數幾個綜合指標。
在統計學中，主成分分析是一種簡化數據集的技術。它是一個線性變換。這個變換把數據變換到一個新的坐標系統中，使得任何數據投影的第一大方差在第一個坐標(稱為第一主成分)上，第二大方差在第二個坐標(第二主成分)上，依次類推。主成分分析經常用減少數據集的維數，同時保持數據集的對方差貢獻最大的特徵。這是通過保留低階主成分，忽略高階主成分做到的。這樣低階成分往往能夠保留住數據的最重要方面。但是，這也不是一定的，要視具體應用而定。
主成分分析的主要作用
1．主成分分析能降低所研究的數據空間的維數。即用研究m維的Y空間代替p維的X空間(m＜p)，而低維的Y空間代替 高維的x空間所損失的信息很少。即：使只有一個主成分Yl(即 m＝1)時，這個Yl仍是使用全部X變數(p個)得到的。例如要計算Yl的均值也得使用全部x的均值。在所選的前m個主成分中，如果某個Xi的系數全部近似於零的話，就可以把這個Xi刪除，這也是一種刪除多餘變數的方法。
2．有時可通過因子負荷aij的結論，弄清X變數間的某些關系。
3．多維數據的一種圖形表示方法。我們知道當維數大於3時便不能畫出幾何圖形，多元統計研究的問題大都多於3個變數。要把研究的問題用圖形表示出來是不可能的。然而，經過主成分分析後，我們可以選取前兩個主成分或其中某兩個主成分，根據主成分的得分，畫出n個樣品在二維平面上的分布況，由圖形可直觀地看出各樣品在主分量中的地位，進而還可以對樣本進行分類處理，可以由圖形發現遠離大多數樣本點的離群點。
4．由主成分分析法構造回歸模型。即把各主成分作為新自變數代替原來自變數x做回歸分析。
5．用主成分分析篩選回歸變數。回歸變數的選擇有著重的實際意義，為了使模型本身易於做結構分析、控制和預報，好從原始變數所構成的子集合中選擇最佳變數，構成最佳變數集合。用主成分分析篩選變數，可以用較少的計算量來選擇量，獲得選擇最佳變數子集合的效果。
主成分分析法的計算步驟
1、原始指標數據的標准化採集p 維隨機向量x = (x1,X2,...,Xp)T)n 個樣品xi = (xi1,xi2,...,xip)T ，i=1,2,…,n，
n＞p，構造樣本陣，對樣本陣元進行如下標准化變換：
Z_{ij}=frac{x_{ij}-bar{x}_j}{s_j},i=1,2,...,n; j=1,2,...,p
其中bar{x}_j=frac{sum^{n}_{i=1}x_{ij}}{n},s^2_j=frac{sum^n_{i=1}(x_{ij}-bar{x}_j)^2}{n-1}，得標准化陣Z。
2、對標准化陣Z 求相關系數矩陣
R=left[r_{ij}right]_pxp=frac{Z^T Z}{n-1}
其中,r_{ij}=frac{sum z_{kj}cdot z_{kj}}{n-1},i,j=1,2,...,p 。
3、解樣本相關矩陣R 的特徵方程left|R-lambda I_pright|=0得p 個特徵根,確定主成分
按frac{sum^m_{j=1}lambda_j}{sum^p_{j=1}lambda_j}ge 0.85 確定m 值，使信息的利用率達85%以上，對每個λj, j=1,2,...,m, 解方程組Rb = λjb得單位特徵向量b^o_j 。
4、將標准化後的指標變數轉換為主成分
U_{ij}=z^{T}_{i}b^{o}_{j},j=1,2,...,m
U1稱為第一主成分,U2 稱為第二主成分,…,Up 稱為第p 主成分。
5 、對m 個主成分進行綜合評價
對m 個主成分進行加權求和，即得最終評價值，權數為每個主成分的方差貢獻率。
因子分析
因子分析法是指從研究指標相關矩陣內部的依賴關系出發，把一些信息重疊、具有錯綜復雜關系的變數歸結為少數幾個不相關的綜合因子的一種多元統計分析方法。基本思想是：根據相關性大小把變數分組，使得同組內的變數之間相關性較高，但不同組的變數不相關或相關性較低，每組變數代表一個基本結構一即公共因子。
因子分析法的步驟
(1)對數據樣本進行標准化處理。
(2)計算樣本的相關矩陣R。
(3)求相關矩陣R的特徵根和特徵向量。
(4)根據系統要求的累積貢獻率確定主因子的個數。
(5)計算因子載荷矩陣A。
(6)確定因子模型。
(7)根據上述計算結果，對系統進行分析。

以上是小編為大家分享的關於數據分析 常用的降維方法之主成分分析的相關內容，更多信息可以關注環球青藤分享更多干貨

⑹ 流形學習的降維方法與其他方法有什麼優點

有監督的降維學習方法，和PCA類似.

motivation: 從類內距離最小，類間距離最大的這個角度來構造目標函數。

MDS

一種j降維的方法，是和PCA對偶的。

motivation:保證降維之後點對之間的歐式距離不變。

⑺ 降維的方法主要有

在分析高維數據時，降維（Dimensionality rection，DR）方法是我們不可或缺的好幫手。

作為數據去噪簡化的一種方法，它對處理大多數現代生物數據很有幫助。在這些數據集中，經常存在著為單個樣本同時收集數百甚至數百萬個測量值的情況。

由於「維度災難」（curse of dimensionality）的存在，很多統計方法難以應用到高維數據上。雖然收集到的數據點很多，但是它們會散布在一個龐大的、幾乎不可能進行徹底探索的高維空間中。

通過降低數據的維度，你可以把這個復雜棘手的問題變得簡單輕松。除去噪音但保存了所關注信息的低維度數據，對理解其隱含的結構和模式很有幫助。原始的高維度數據通常包含了許多無關或冗餘變數的觀測值。降維可以被看作是一種潛在特徵提取的方法。它也經常用於數據壓縮、數據探索以及數據可視化。

雖然在標準的數據分析流程中已經開發並實現了許多降維方法，但它們很容易被誤用，並且其結果在實踐中也常被誤解。

本文為從業者提供了一套有用的指南，指導其如何正確進行降維，解釋其輸出並傳達結果。

技巧1：選擇一個合適的方法

當你想從現有的降維方法中選擇一種進行分析時，可用的降維方法的數量似乎令人生畏。事實上，你不必拘泥於一種方法；但是，你應該意識到哪些方法適合你當前的工作。

降維方法的選擇取決於輸入數據的性質。比如說，對於連續數據、分類數據、計數數據、距離數據，它們會需要用到不同的降維方法。你也應該用你的直覺和相關的領域知識來考慮收集到的數據。通常情況下，觀測可以充分捕獲臨近（或類似）數據點之間的小規模關系，但並不能捕獲遠距離觀測之間的長期相互作用。對數據的性質和解析度的考慮是十分重要的，因為降維方法可以還原數據的整體或局部結構。一般來說，線性方法如主成分分析（Principal Component Analysis, PCA）、對應分析（Correspondence Analysis, CA）、多重對應分析（Multiple Correspondence Analysis, MCA）、經典多維尺度分析（classical multidimensional scaling, cMDS）也被稱為主坐標分析（Principal Coordinate Analysis, PCoA） 等方法，常用於保留數據的整體結構；而非線性方法，如核主成分分析（Kernel Principal Component Analysis, Kernel PCA）、非度量多維尺度分析（Nonmetric Multidimensional Scaling, NMDS）、等度量映射（Isomap）、擴散映射（Diffusion Maps）、以及一些包括t分布隨機嵌入（t-Distributed Stochastic Neighbor Embedding, t-SNE）在內的鄰近嵌入技術，更適合於表達數據局部的相互作用關系。NE技術不會保留數據點之間的長期相互作用關系，其可視化報告中的非臨近觀測組的排列並沒有參考價值。因此，NE的圖表不應該被用於數據的大規模結構的推測

⑻ 現有矩陣降維常用方法

降維方法分為線性核非線性降維，非線性降維又分為基於核函數和基於特徵值的方法。

線性降維方法：PCA ICALDA LFA LPP(LE的線性表示)

於核函數的非線性降維方法：KPCA KICAKDA

基於特徵值的非線性降維方法（流型學習）：ISOMAP LLE LE LPP LTSA MVU

⑼ 機器學習中的降維演算法和梯度下降法

機器學習中有很多演算法都是十分經典的，比如說降維演算法以及梯度下降法，這些方法都能夠幫助大家解決很多問題，因此學習機器學習一定要掌握這些演算法，而且這些演算法都是比較受大家歡迎的。在這篇文章中我們就給大家重點介紹一下降維演算法和梯度下降法。
降維演算法
首先，來說一說降維演算法，降維演算法是一種無監督學習演算法，其主要特徵是將數據從高維降低到低維層次。在這里，維度其實表示的是數據的特徵量的大小，當特徵量大的話，那麼就給計算機帶來了很大的壓力，所以我們可以通過降維計算，把維度高的特徵量降到維度低的特徵量，比如說從4維的數據壓縮到2維。類似這樣將數據從高維降低到低維有兩個好處，第一就是利於表示，第二就是在計算上也能帶來加速。
當然，有很多降維過程中減少的維度屬於肉眼可視的層次，同時壓縮也不會帶來信息的損失。但是如果肉眼不可視，或者沒有冗餘的特徵，這怎麼辦呢？其實這樣的方式降維演算法也能工作，不過這樣會帶來一些信息的損失。不過，降維演算法可以從數學上證明，從高維壓縮到的低維中最大程度地保留了數據的信息。所以說，降維演算法還是有很多好處的。
那麼降維演算法的主要作用是什麼呢？具體就是壓縮數據與提升機器學習其他演算法的效率。通過降維演算法，可以將具有幾千個特徵的數據壓縮至若干個特徵。另外，降維演算法的另一個好處是數據的可視化。這個優點一直別廣泛應用。
梯度下降法
下面我們給大家介紹一下梯度下降法，所謂梯度下降法就是一個最優化演算法，通常也稱為最速下降法。最速下降法是求解無約束優化問題最簡單和最古老的方法之一，雖然現在已經不具有實用性，但是許多有效演算法都是以它為基礎進行改進和修正而得到的。最速下降法是用負梯度方向為搜索方向的，最速下降法越接近目標值，步長越小，前進越慢。好比將函數比作一座山，我們站在某個山坡上，往四周看，從哪個方向向下走一小步，能夠下降的最快;當然解決問題的方法有很多，梯度下降只是其中一個，還有很多種方法。
在這篇文章中我們給大家介紹了關於機器演算法中的降維演算法以及梯度下降法，這兩種方法是機器學習中十分常用的演算法，降維演算法和梯度下降法都是十分實用的，大家在進行學習機器學習的時候一定要好好學習這兩種演算法，希望這篇文章能夠幫助大家理解這兩種演算法。

⑽ 降維的概念

若原特徵空間是D維的,現希望降至d維的 降維方法分為線性核非線性降維，非線性降維又分為基於核函數和基於特徵值的方法。
1、線性降維方法：PCA 、ICA LDA、LFA、LPP(LE的線性表示)
2、非線性降維方法：
（1）基於核函數的非線性降維方法：KPCA 、KICA、KDA
（2）基於特徵值的非線性降維方法（流型學習）：ISOMAP、LLE、LE、LPP、LTSA、MVU 1、LLE（Locally Linear Embedding）演算法（局部線性嵌入）：
每一個數據點都可以由其近鄰點的線性加權組合構造得到。
演算法的主要步驟分為三步：
（1）尋找每個樣本點的k個近鄰點（k是一個預先給定的值）；
（2）由每個樣本點的近鄰點計算出該樣本點的局部重建權值矩陣；
（3）由該樣本點的局部重建權值矩陣和其近鄰點計算出該樣本點的輸出值，定義一個誤差函數。