機器學習數學基礎及演算法

㈠ 從入門到高階，讀懂機器學習需要哪些數學知識

1.線性代數：我的一個同事Skyler Speakman說「線性代數是二十一世紀的數學」，我完全同意這個說法。在ML中，線性代數到處都是。主成分分析（PCA）、奇異值分解（SVD）、矩陣的特徵分解、LU分解、QR分解/因式分解、對稱矩陣，正交化和正交化、矩陣運算、投影、特徵值和特徵向量、向量空間和規范這些都是理解機器學習及其優化方法所必需的。線性代數令人驚奇的是，有很多在線資源。 我一直說傳統的課堂正在死亡，因為互聯網上有大量的資源。我最喜歡的線性代數課程是MIT（Gilbert Strang教授）課程。
2.概率理論與統計學：機器學習與統計學領域是有很多相似的地方。實際上，有人最近將機器學習定義為「在Mac上統計數據」。 機器學習需要基本統計和概率理論的綜合知識，如概率規則和公理、貝葉斯定理、隨機變數、方差和期望、條件和聯合分布、標准分布（伯努利，二項式，多項式，均勻和高斯）、矩生成函數、最大似然估計（MLE）、先驗和後驗、最大後驗估計（MAP）和抽樣方法。
3.多元微積分：主要領域包括微積分、偏導數、向量值函數、梯度方向、Hessian矩陣、雅可比矩陣、拉普拉斯和拉格朗日分布。
4.演算法和復雜度優化： 這些在評估計算的效率和可擴展性，或利用稀疏矩陣時，顯得非常重要。 需要知識包括數據結構（二叉樹，散列，堆，堆棧等）、動態規劃、隨機和線性演算法、圖形、梯度/隨機下降和原對偶方法。
5.其他：包括上述四個主要領域未涵蓋的其他數學主題。它們包括實分析和復分析（集合和序列、拓撲、度量空間、單值和連續函數、限制、柯西內核、傅里葉變換），信息理論（熵，信息增益），函數空間和Manifolds流形。

㈡ 想了解機器學習，需要知道哪些基礎演算法

學一些概率論，導數和線性代數。機器學習的本質是拿訓練樣本去做數據擬合函數，然後用擬合函數解析輸入量。機器學習比較基礎的是最小二乘法，梯度下降之類的。到後面要學線性擬合，logistic函數，SVM等等。

㈢ 機器學習一般常用的演算法有哪些

機器學習是人工智慧的核心技術，是學習人工智慧必不可少的環節。機器學習中有很多演算法，能夠解決很多以前難以企的問題，機器學習中涉及到的演算法有不少，下面小編就給大家普及一下這些演算法。

一、線性回歸

一般來說，線性回歸是統計學和機器學習中最知名和最易理解的演算法之一。這一演算法中我們可以用來預測建模，而預測建模主要關注最小化模型誤差或者盡可能作出最准確的預測，以可解釋性為代價。我們將借用、重用包括統計學在內的很多不同領域的演算法，並將其用於這些目的。當然我們可以使用不同的技術從數據中學習線性回歸模型，例如用於普通最小二乘法和梯度下降優化的線性代數解。就目前而言，線性回歸已經存在了200多年，並得到了廣泛研究。使用這種技術的一些經驗是盡可能去除非常相似（相關）的變數，並去除噪音。這是一種快速、簡單的技術。

二、Logistic 回歸

它是解決二分類問題的首選方法。Logistic 回歸與線性回歸相似，目標都是找到每個輸入變數的權重，即系數值。與線性回歸不同的是，Logistic 回歸對輸出的預測使用被稱為 logistic 函數的非線性函數進行變換。logistic 函數看起來像一個大的S，並且可以將任何值轉換到0到1的區間內。這非常實用，因為我們可以規定logistic函數的輸出值是0和1並預測類別值。像線性回歸一樣，Logistic 回歸在刪除與輸出變數無關的屬性以及非常相似的屬性時效果更好。它是一個快速的學習模型，並且對於二分類問題非常有效。

三、線性判別分析（LDA）

在前面我們介紹的Logistic 回歸是一種分類演算法，傳統上，它僅限於只有兩類的分類問題。而LDA的表示非常簡單直接。它由數據的統計屬性構成，對每個類別進行計算。單個輸入變數的 LDA包括兩個，第一就是每個類別的平均值，第二就是所有類別的方差。而在線性判別分析，進行預測的方法是計算每個類別的判別值並對具備最大值的類別進行預測。該技術假設數據呈高斯分布，因此最好預先從數據中刪除異常值。這是處理分類預測建模問題的一種簡單而強大的方法。

四、決策樹

決策樹是預測建模機器學習的一種重要演算法。決策樹模型的表示是一個二叉樹。這是演算法和數據結構中的二叉樹，沒什麼特別的。每個節點代表一個單獨的輸入變數x和該變數上的一個分割點。而決策樹的葉節點包含一個用於預測的輸出變數y。通過遍歷該樹的分割點，直到到達一個葉節點並輸出該節點的類別值就可以作出預測。當然決策樹的有點就是決策樹學習速度和預測速度都很快。它們還可以解決大量問題，並且不需要對數據做特別准備。

五、樸素貝葉斯

其實樸素貝葉斯是一個簡單但是很強大的預測建模演算法。而這個模型由兩種概率組成，這兩種概率都可以直接從訓練數據中計算出來。第一種就是每個類別的概率，第二種就是給定每個 x 的值，每個類別的條件概率。一旦計算出來，概率模型可用於使用貝葉斯定理對新數據進行預測。當我們的數據是實值時，通常假設一個高斯分布，這樣我們可以簡單的估計這些概率。而樸素貝葉斯之所以是樸素的，是因為它假設每個輸入變數是獨立的。這是一個強大的假設，真實的數據並非如此，但是，該技術在大量復雜問題上非常有用。所以說，樸素貝葉斯是一個十分實用的功能。

六、K近鄰演算法

K近鄰演算法簡稱KNN演算法，KNN 演算法非常簡單且有效。KNN的模型表示是整個訓練數據集。KNN演算法在整個訓練集中搜索K個最相似實例（近鄰）並匯總這K個實例的輸出變數，以預測新數據點。對於回歸問題，這可能是平均輸出變數，對於分類問題，這可能是眾數類別值。而其中的訣竅在於如何確定數據實例間的相似性。如果屬性的度量單位相同，那麼最簡單的技術是使用歐幾里得距離，我們可以根據每個輸入變數之間的差值直接計算出來其數值。當然，KNN需要大量內存或空間來存儲所有數據，但是只有在需要預測時才執行計算。我們還可以隨時更新和管理訓練實例，以保持預測的准確性。

七、Boosting 和 AdaBoost

首先，Boosting 是一種集成技術，它試圖集成一些弱分類器來創建一個強分類器。這通過從訓練數據中構建一個模型，然後創建第二個模型來嘗試糾正第一個模型的錯誤來完成。一直添加模型直到能夠完美預測訓練集，或添加的模型數量已經達到最大數量。而AdaBoost 是第一個為二分類開發的真正成功的 boosting 演算法。這是理解 boosting 的最佳起點。現代 boosting 方法建立在 AdaBoost 之上，最顯著的是隨機梯度提升。當然，AdaBoost 與短決策樹一起使用。在第一個決策樹創建之後，利用每個訓練實例上樹的性能來衡量下一個決策樹應該對每個訓練實例付出多少注意力。難以預測的訓練數據被分配更多權重，而容易預測的數據分配的權重較少。依次創建模型，每一個模型在訓練實例上更新權重，影響序列中下一個決策樹的學習。在所有決策樹建立之後，對新數據進行預測，並且通過每個決策樹在訓練數據上的精確度評估其性能。所以說，由於在糾正演算法錯誤上投入了太多注意力，所以具備已刪除異常值的干凈數據十分重要。

八、學習向量量化演算法（簡稱 LVQ）

學習向量量化也是機器學習其中的一個演算法。可能大家不知道的是，K近鄰演算法的一個缺點是我們需要遍歷整個訓練數據集。學習向量量化演算法（簡稱 LVQ）是一種人工神經網路演算法，它允許你選擇訓練實例的數量，並精確地學習這些實例應該是什麼樣的。而學習向量量化的表示是碼本向量的集合。這些是在開始時隨機選擇的，並逐漸調整以在學習演算法的多次迭代中最好地總結訓練數據集。在學習之後，碼本向量可用於預測。最相似的近鄰通過計算每個碼本向量和新數據實例之間的距離找到。然後返回最佳匹配單元的類別值或作為預測。如果大家重新調整數據，使其具有相同的范圍，就可以獲得最佳結果。當然，如果大家發現KNN在大家數據集上達到很好的結果，請嘗試用LVQ減少存儲整個訓練數據集的內存要求

㈣ 機器學習應補充哪些數學基礎

機器學習理論是統計學、概率學、計算機科學以及演算法的交叉領域，是通過從數據中的迭代學習去發現能夠被用來構建智能應用的隱藏知識。盡管機器學習和深度學習有著無限可能，然而為了更好地掌握演算法的內部工作機理和得到較好的結果，對大多數這些技術有一個透徹的數學理解是必要的。

---

最後整理這些，看你要學哪些知識

知識是永遠不會覺得多的，活到老學到老。

㈤ 機器學習該怎麼入門

①機器學習的基礎是數學，入門AI必須掌握一些必要的數學基礎，但是並不是全部的數學知識都要學，只學工作上實際有用到的，比如是微積分、概率論、線性代數、凸優化等這些。
②數據分析里需要應用到的內容也需要掌握，但不是網上所說的從0開始幫你做數據分析的那種，而是數據挖掘或者說是數據科學領域相關的東西，比如要知道計算機裡面怎麼挖掘數據、相關的數據挖掘工具等等
補足了以上數學和數據挖掘基本知識，才可以正式進行機器學習演算法原理的學習。
③演算法方面需要掌握一些基本的框架：python、spark、mllib、scikit-learning、pytorch、TensorFlow，數據方面需要懂得HQL、numpy、pandas，如果你本身是後台開發、app開發、數據分析、項目管理，則是一個學習演算法的一個加分項。
④最後需要對人工智慧有全局的認知，包括機器學習、深度學習兩大模塊，相關的演算法原理、推導和應用的掌握，以及最重要演算法思想。
可以去學習下菜鳥窩的機器學習課，python基礎、數據分析、數學都是從0基礎開始，老師都是BAT工業界多年實踐經驗的，能讓你短時間入門機器學習，並且擁有持續讀paper等的自學能力，不過培訓跟相親一樣要看眼緣，我這里有他們公開課的全套資料包括PPT源碼，想要的可以私我哦。

㈥ 機器學習需要哪些數學基礎

我們知道，機器學習涉及到很多的工具，其中最重要的當屬數學工具了，因此必要的數學基礎可謂是打開機器學習大門的必備鑰匙。機器學習涉及到的數學基礎內容包括三個方面，分別是線性代數、概率統計和最優化理論。下面小編就會好好給大家介紹一下機器學習中涉及到的數學基礎知道，讓大家在日常的機器學習中可以更好地運用數學工具。

首先我們給大家介紹一下線性代數，線性代數起到的一個最主要的作用就是把具體的事物轉化成抽象的數學模型。不管我們的世界當中有多麼紛繁復雜，我們都可以把它轉化成一個向量，或者一個矩陣的形式。這就是線性代數最主要的作用。所以，在線性代數解決表示這個問題的過程中，我們主要包括這樣兩個部分，一方面是線性空間理論，也就是我們說的向量、矩陣、變換這樣一些問題。第二個是矩陣分析。給定一個矩陣，我們可以對它做所謂的SVD分解，也就是做奇異值分解，或者是做其他的一些分析。這樣兩個部分共同構成了我們機器學習當中所需要的線性代數。

然後我們說一下概率統計，在評價過程中，我們需要使用到概率統計。概率統計包括了兩個方面，一方面是數理統計，另外一方面是概率論。一般來說數理統計比較好理解，我們機器學習當中應用的很多模型都是來源於數理統計。像最簡單的線性回歸，還有邏輯回歸，它實際上都是來源於統計學。在具體地給定了目標函數之後，我們在實際地去評價這個目標函數的時候，我們會用到一些概率論。當給定了一個分布，我們要求解這個目標函數的期望值。在平均意義上，這個目標函數能達到什麼程度呢？這個時候就需要使用到概率論。所以說在評價這個過程中，我們會主要應用到概率統計的一些知識。

最後我們說一下最優化理論，其實關於優化，就不用說了，我們肯定用到的是最優化理論。在最優化理論當中，主要的研究方向是凸優化。凸優化當然它有些限制，但它的好處也很明顯，比如說能夠簡化這個問題的解。因為在優化當中我們都知道，我們要求的是一個最大值，或者是最小值，但實際當中我們可能會遇到一些局部的極大值，局部的極小值，還有鞍點這樣的點。凸優化可以避免這個問題。在凸優化當中，極大值就是最大值，極小值也就是最小值。但在實際當中，尤其是引入了神經網路還有深度學習之後，凸優化的應用范圍越來越窄，很多情況下它不再適用，所以這裡面我們主要用到的是無約束優化。同時，在神經網路當中應用最廣的一個演算法，一個優化方法，就是反向傳播。

㈦ 機器學習有哪些演算法

機器學習，基礎的PCA模型理論，貝葉斯，boost,Adaboost,模式識別中的各種特徵，諸如Hog，Haar,SIFT等深度學習里的DBN，CNN，BP，RBM等等。

㈧ 機器學習需要什麼數學基礎

• 數學基礎

  歡迎補充。

  文中提供的PDF下載鏈接，均來自於網路，如有問題，請站內告知。

• 《矩陣分析》 PDFRoger Horn。矩陣分析領域無爭議的經典

• 《概率論及其應用》 PDF威廉·費勒。極牛的書，可數學味道太重，不適合做機器學習的

• 《All Of Statistics》 PDF 掃描版PDF 高清版機器學習這個方向，統計學也一樣非常重要。推薦All of statistics，這是CMU的一本很簡潔的教科書，注重概念，簡化計算，簡化與Machine Learning無關的概念和統計內容，可以說是很好的快速入門材料。

• 《Nonlinear Programming, 2nd》 PDF最優化方法，非線性規劃的參考書。

• 《Convex Optimization》 PDF配套代碼Boyd的經典書籍，被引用次數超過14000次，面向實際應用，並且有配套代碼，是一本不可多得的好書。

• 《Numerical Optimization》 PDF第二版，Nocedal著，非常適合非數值專業的學生和工程師參考，演算法流程清晰詳細，原理清楚。

• 《Introction to Mathematical Statistics》 PDF第六版，Hogg著，本書介紹了概率統計的基本概念以及各種分布，以及ML，Bayesian方法等內容。

• 《An Introction to Probabilistic Graphical Models》 PDFJordan著，本書介紹了條件獨立、分解、混合、條件混合等圖模型中的基本概念，對隱變數（潛在變數）也做了詳細介紹，相信大家在隱馬爾科夫鏈和用Gaussian混合模型來實現EM演算法時遇到過這個概念。

• 《Probabilistic Graphical Models-Principles and Techniques》 PDFKoller著，一本很厚很全面的書，理論性很強，可以作為參考書使用。

• 具體數學 PDF經典

• bind一月 4

• 線性代數 (Linear Algebra)：我想國內的大學生都會學過這門課程，但是，未必每一位老師都能貫徹它的精要。這門學科對於Learning是必備的基礎，對它的透徹掌握是必不可少的。我在科大一年級的時候就學習了這門課，後來到了香港後，又重新把線性代數讀了一遍，所讀的是

  Introction to Linear Algebra (3rd Ed.) by Gilbert Strang.

  這本書是MIT的線性代數課使用的教材，也是被很多其它大學選用的經典教材。它的難度適中，講解清晰，重要的是對許多核心的概念討論得比較透徹。我個人覺得，學習線性代數，最重要的不是去熟練矩陣運算和解方程的方法——這些在實際工作中MATLAB可以代勞，關鍵的是要深入理解幾個基礎而又重要的概念：子空間(Subspace)，正交(Orthogonality)，特徵值和特徵向量(Eigenvalues and eigenvectors)，和線性變換(Linear transform)。從我的角度看來，一本線代教科書的質量，就在於它能否給這些根本概念以足夠的重視，能否把它們的聯系講清楚。Strang的這本書在這方面是做得很好的。

  而且，這本書有個得天獨厚的優勢。書的作者長期在MIT講授線性代數課(18.06)，課程的video在MIT的Open courseware網站上有提供。有時間的朋友可以一邊看著名師授課的錄像，一邊對照課本學習或者復習。

  Linear Algebra

• 概率和統計 (Probability and Statistics):概率論和統計的入門教科書很多，我目前也沒有特別的推薦。我在這里想介紹的是一本關於多元統計的基礎教科書：

  Applied Multivariate Statistical Analysis (5th Ed.) by Richard A. Johnson and Dean W. Wichern

  這本書是我在剛接觸向量統計的時候用於學習的，我在香港時做研究的基礎就是從此打下了。實驗室的一些同學也借用這本書學習向量統計。這本書沒有特別追求數學上的深度，而是以通俗易懂的方式講述主要的基本概念，讀起來很舒服，內容也很實用。對於Linear regression, factor analysis, principal component analysis (PCA), and canonical component analysis (CCA)這些Learning中的基本方法也展開了初步的論述。

  之後就可以進一步深入學習貝葉斯統計和Graphical models。一本理想的書是

  Introction to Graphical Models (draft version). by M. Jordan and C. Bishop.

  我不知道這本書是不是已經出版了（不要和Learning in Graphical Models混淆，那是個論文集，不適合初學）。這本書從基本的貝葉斯統計模型出發一直深入到復雜的統計網路的估計和推斷，深入淺出，statistical learning的許多重要方面都在此書有清楚論述和詳細講解。MIT內部可以access，至於外面，好像也是有電子版的。