机器学习数学基础及算法

㈠ 从入门到高阶，读懂机器学习需要哪些数学知识

1.线性代数：我的一个同事Skyler Speakman说“线性代数是二十一世纪的数学”，我完全同意这个说法。在ML中，线性代数到处都是。主成分分析（PCA）、奇异值分解（SVD）、矩阵的特征分解、LU分解、QR分解/因式分解、对称矩阵，正交化和正交化、矩阵运算、投影、特征值和特征向量、向量空间和规范这些都是理解机器学习及其优化方法所必需的。线性代数令人惊奇的是，有很多在线资源。 我一直说传统的课堂正在死亡，因为互联网上有大量的资源。我最喜欢的线性代数课程是MIT（Gilbert Strang教授）课程。
2.概率理论与统计学：机器学习与统计学领域是有很多相似的地方。实际上，有人最近将机器学习定义为“在Mac上统计数据”。 机器学习需要基本统计和概率理论的综合知识，如概率规则和公理、贝叶斯定理、随机变量、方差和期望、条件和联合分布、标准分布（伯努利，二项式，多项式，均匀和高斯）、矩生成函数、最大似然估计（MLE）、先验和后验、最大后验估计（MAP）和抽样方法。
3.多元微积分：主要领域包括微积分、偏导数、向量值函数、梯度方向、Hessian矩阵、雅可比矩阵、拉普拉斯和拉格朗日分布。
4.算法和复杂度优化： 这些在评估计算的效率和可扩展性，或利用稀疏矩阵时，显得非常重要。 需要知识包括数据结构（二叉树，散列，堆，堆栈等）、动态规划、随机和线性算法、图形、梯度/随机下降和原对偶方法。
5.其他：包括上述四个主要领域未涵盖的其他数学主题。它们包括实分析和复分析（集合和序列、拓扑、度量空间、单值和连续函数、限制、柯西内核、傅里叶变换），信息理论（熵，信息增益），函数空间和Manifolds流形。

㈡ 想了解机器学习，需要知道哪些基础算法

学一些概率论，导数和线性代数。机器学习的本质是拿训练样本去做数据拟合函数，然后用拟合函数解析输入量。机器学习比较基础的是最小二乘法，梯度下降之类的。到后面要学线性拟合，logistic函数，SVM等等。

㈢ 机器学习一般常用的算法有哪些

机器学习是人工智能的核心技术，是学习人工智能必不可少的环节。机器学习中有很多算法，能够解决很多以前难以企的问题，机器学习中涉及到的算法有不少，下面小编就给大家普及一下这些算法。

一、线性回归

一般来说，线性回归是统计学和机器学习中最知名和最易理解的算法之一。这一算法中我们可以用来预测建模，而预测建模主要关注最小化模型误差或者尽可能作出最准确的预测，以可解释性为代价。我们将借用、重用包括统计学在内的很多不同领域的算法，并将其用于这些目的。当然我们可以使用不同的技术从数据中学习线性回归模型，例如用于普通最小二乘法和梯度下降优化的线性代数解。就目前而言，线性回归已经存在了200多年，并得到了广泛研究。使用这种技术的一些经验是尽可能去除非常相似（相关）的变量，并去除噪音。这是一种快速、简单的技术。

二、Logistic 回归

它是解决二分类问题的首选方法。Logistic 回归与线性回归相似，目标都是找到每个输入变量的权重，即系数值。与线性回归不同的是，Logistic 回归对输出的预测使用被称为 logistic 函数的非线性函数进行变换。logistic 函数看起来像一个大的S，并且可以将任何值转换到0到1的区间内。这非常实用，因为我们可以规定logistic函数的输出值是0和1并预测类别值。像线性回归一样，Logistic 回归在删除与输出变量无关的属性以及非常相似的属性时效果更好。它是一个快速的学习模型，并且对于二分类问题非常有效。

三、线性判别分析（LDA）

在前面我们介绍的Logistic 回归是一种分类算法，传统上，它仅限于只有两类的分类问题。而LDA的表示非常简单直接。它由数据的统计属性构成，对每个类别进行计算。单个输入变量的 LDA包括两个，第一就是每个类别的平均值，第二就是所有类别的方差。而在线性判别分析，进行预测的方法是计算每个类别的判别值并对具备最大值的类别进行预测。该技术假设数据呈高斯分布，因此最好预先从数据中删除异常值。这是处理分类预测建模问题的一种简单而强大的方法。

四、决策树

决策树是预测建模机器学习的一种重要算法。决策树模型的表示是一个二叉树。这是算法和数据结构中的二叉树，没什么特别的。每个节点代表一个单独的输入变量x和该变量上的一个分割点。而决策树的叶节点包含一个用于预测的输出变量y。通过遍历该树的分割点，直到到达一个叶节点并输出该节点的类别值就可以作出预测。当然决策树的有点就是决策树学习速度和预测速度都很快。它们还可以解决大量问题，并且不需要对数据做特别准备。

五、朴素贝叶斯

其实朴素贝叶斯是一个简单但是很强大的预测建模算法。而这个模型由两种概率组成，这两种概率都可以直接从训练数据中计算出来。第一种就是每个类别的概率，第二种就是给定每个 x 的值，每个类别的条件概率。一旦计算出来，概率模型可用于使用贝叶斯定理对新数据进行预测。当我们的数据是实值时，通常假设一个高斯分布，这样我们可以简单的估计这些概率。而朴素贝叶斯之所以是朴素的，是因为它假设每个输入变量是独立的。这是一个强大的假设，真实的数据并非如此，但是，该技术在大量复杂问题上非常有用。所以说，朴素贝叶斯是一个十分实用的功能。

六、K近邻算法

K近邻算法简称KNN算法，KNN 算法非常简单且有效。KNN的模型表示是整个训练数据集。KNN算法在整个训练集中搜索K个最相似实例（近邻）并汇总这K个实例的输出变量，以预测新数据点。对于回归问题，这可能是平均输出变量，对于分类问题，这可能是众数类别值。而其中的诀窍在于如何确定数据实例间的相似性。如果属性的度量单位相同，那么最简单的技术是使用欧几里得距离，我们可以根据每个输入变量之间的差值直接计算出来其数值。当然，KNN需要大量内存或空间来存储所有数据，但是只有在需要预测时才执行计算。我们还可以随时更新和管理训练实例，以保持预测的准确性。

七、Boosting 和 AdaBoost

首先，Boosting 是一种集成技术，它试图集成一些弱分类器来创建一个强分类器。这通过从训练数据中构建一个模型，然后创建第二个模型来尝试纠正第一个模型的错误来完成。一直添加模型直到能够完美预测训练集，或添加的模型数量已经达到最大数量。而AdaBoost 是第一个为二分类开发的真正成功的 boosting 算法。这是理解 boosting 的最佳起点。现代 boosting 方法建立在 AdaBoost 之上，最显着的是随机梯度提升。当然，AdaBoost 与短决策树一起使用。在第一个决策树创建之后，利用每个训练实例上树的性能来衡量下一个决策树应该对每个训练实例付出多少注意力。难以预测的训练数据被分配更多权重，而容易预测的数据分配的权重较少。依次创建模型，每一个模型在训练实例上更新权重，影响序列中下一个决策树的学习。在所有决策树建立之后，对新数据进行预测，并且通过每个决策树在训练数据上的精确度评估其性能。所以说，由于在纠正算法错误上投入了太多注意力，所以具备已删除异常值的干净数据十分重要。

八、学习向量量化算法（简称 LVQ）

学习向量量化也是机器学习其中的一个算法。可能大家不知道的是，K近邻算法的一个缺点是我们需要遍历整个训练数据集。学习向量量化算法（简称 LVQ）是一种人工神经网络算法，它允许你选择训练实例的数量，并精确地学习这些实例应该是什么样的。而学习向量量化的表示是码本向量的集合。这些是在开始时随机选择的，并逐渐调整以在学习算法的多次迭代中最好地总结训练数据集。在学习之后，码本向量可用于预测。最相似的近邻通过计算每个码本向量和新数据实例之间的距离找到。然后返回最佳匹配单元的类别值或作为预测。如果大家重新调整数据，使其具有相同的范围，就可以获得最佳结果。当然，如果大家发现KNN在大家数据集上达到很好的结果，请尝试用LVQ减少存储整个训练数据集的内存要求

㈣ 机器学习应补充哪些数学基础

机器学习理论是统计学、概率学、计算机科学以及算法的交叉领域，是通过从数据中的迭代学习去发现能够被用来构建智能应用的隐藏知识。尽管机器学习和深度学习有着无限可能，然而为了更好地掌握算法的内部工作机理和得到较好的结果，对大多数这些技术有一个透彻的数学理解是必要的。

---

最后整理这些，看你要学哪些知识

知识是永远不会觉得多的，活到老学到老。

㈤ 机器学习该怎么入门

①机器学习的基础是数学，入门AI必须掌握一些必要的数学基础，但是并不是全部的数学知识都要学，只学工作上实际有用到的，比如是微积分、概率论、线性代数、凸优化等这些。
②数据分析里需要应用到的内容也需要掌握，但不是网上所说的从0开始帮你做数据分析的那种，而是数据挖掘或者说是数据科学领域相关的东西，比如要知道计算机里面怎么挖掘数据、相关的数据挖掘工具等等
补足了以上数学和数据挖掘基本知识，才可以正式进行机器学习算法原理的学习。
③算法方面需要掌握一些基本的框架：python、spark、mllib、scikit-learning、pytorch、TensorFlow，数据方面需要懂得HQL、numpy、pandas，如果你本身是后台开发、app开发、数据分析、项目管理，则是一个学习算法的一个加分项。
④最后需要对人工智能有全局的认知，包括机器学习、深度学习两大模块，相关的算法原理、推导和应用的掌握，以及最重要算法思想。
可以去学习下菜鸟窝的机器学习课，python基础、数据分析、数学都是从0基础开始，老师都是BAT工业界多年实践经验的，能让你短时间入门机器学习，并且拥有持续读paper等的自学能力，不过培训跟相亲一样要看眼缘，我这里有他们公开课的全套资料包括PPT源码，想要的可以私我哦。

㈥ 机器学习需要哪些数学基础

我们知道，机器学习涉及到很多的工具，其中最重要的当属数学工具了，因此必要的数学基础可谓是打开机器学习大门的必备钥匙。机器学习涉及到的数学基础内容包括三个方面，分别是线性代数、概率统计和最优化理论。下面小编就会好好给大家介绍一下机器学习中涉及到的数学基础知道，让大家在日常的机器学习中可以更好地运用数学工具。

首先我们给大家介绍一下线性代数，线性代数起到的一个最主要的作用就是把具体的事物转化成抽象的数学模型。不管我们的世界当中有多么纷繁复杂，我们都可以把它转化成一个向量，或者一个矩阵的形式。这就是线性代数最主要的作用。所以，在线性代数解决表示这个问题的过程中，我们主要包括这样两个部分，一方面是线性空间理论，也就是我们说的向量、矩阵、变换这样一些问题。第二个是矩阵分析。给定一个矩阵，我们可以对它做所谓的SVD分解，也就是做奇异值分解，或者是做其他的一些分析。这样两个部分共同构成了我们机器学习当中所需要的线性代数。

然后我们说一下概率统计，在评价过程中，我们需要使用到概率统计。概率统计包括了两个方面，一方面是数理统计，另外一方面是概率论。一般来说数理统计比较好理解，我们机器学习当中应用的很多模型都是来源于数理统计。像最简单的线性回归，还有逻辑回归，它实际上都是来源于统计学。在具体地给定了目标函数之后，我们在实际地去评价这个目标函数的时候，我们会用到一些概率论。当给定了一个分布，我们要求解这个目标函数的期望值。在平均意义上，这个目标函数能达到什么程度呢？这个时候就需要使用到概率论。所以说在评价这个过程中，我们会主要应用到概率统计的一些知识。

最后我们说一下最优化理论，其实关于优化，就不用说了，我们肯定用到的是最优化理论。在最优化理论当中，主要的研究方向是凸优化。凸优化当然它有些限制，但它的好处也很明显，比如说能够简化这个问题的解。因为在优化当中我们都知道，我们要求的是一个最大值，或者是最小值，但实际当中我们可能会遇到一些局部的极大值，局部的极小值，还有鞍点这样的点。凸优化可以避免这个问题。在凸优化当中，极大值就是最大值，极小值也就是最小值。但在实际当中，尤其是引入了神经网络还有深度学习之后，凸优化的应用范围越来越窄，很多情况下它不再适用，所以这里面我们主要用到的是无约束优化。同时，在神经网络当中应用最广的一个算法，一个优化方法，就是反向传播。

㈦ 机器学习有哪些算法

机器学习，基础的PCA模型理论，贝叶斯，boost,Adaboost,模式识别中的各种特征，诸如Hog，Haar,SIFT等深度学习里的DBN，CNN，BP，RBM等等。

㈧ 机器学习需要什么数学基础

• 数学基础

  欢迎补充。

  文中提供的PDF下载链接，均来自于网络，如有问题，请站内告知。

• 《矩阵分析》 PDFRoger Horn。矩阵分析领域无争议的经典

• 《概率论及其应用》 PDF威廉·费勒。极牛的书，可数学味道太重，不适合做机器学习的

• 《All Of Statistics》 PDF 扫描版PDF 高清版机器学习这个方向，统计学也一样非常重要。推荐All of statistics，这是CMU的一本很简洁的教科书，注重概念，简化计算，简化与Machine Learning无关的概念和统计内容，可以说是很好的快速入门材料。

• 《Nonlinear Programming, 2nd》 PDF最优化方法，非线性规划的参考书。

• 《Convex Optimization》 PDF配套代码Boyd的经典书籍，被引用次数超过14000次，面向实际应用，并且有配套代码，是一本不可多得的好书。

• 《Numerical Optimization》 PDF第二版，Nocedal着，非常适合非数值专业的学生和工程师参考，算法流程清晰详细，原理清楚。

• 《Introction to Mathematical Statistics》 PDF第六版，Hogg着，本书介绍了概率统计的基本概念以及各种分布，以及ML，Bayesian方法等内容。

• 《An Introction to Probabilistic Graphical Models》 PDFJordan着，本书介绍了条件独立、分解、混合、条件混合等图模型中的基本概念，对隐变量（潜在变量）也做了详细介绍，相信大家在隐马尔科夫链和用Gaussian混合模型来实现EM算法时遇到过这个概念。

• 《Probabilistic Graphical Models-Principles and Techniques》 PDFKoller着，一本很厚很全面的书，理论性很强，可以作为参考书使用。

• 具体数学 PDF经典

• bind一月 4

• 线性代数 (Linear Algebra)：我想国内的大学生都会学过这门课程，但是，未必每一位老师都能贯彻它的精要。这门学科对于Learning是必备的基础，对它的透彻掌握是必不可少的。我在科大一年级的时候就学习了这门课，后来到了香港后，又重新把线性代数读了一遍，所读的是

  Introction to Linear Algebra (3rd Ed.) by Gilbert Strang.

  这本书是MIT的线性代数课使用的教材，也是被很多其它大学选用的经典教材。它的难度适中，讲解清晰，重要的是对许多核心的概念讨论得比较透彻。我个人觉得，学习线性代数，最重要的不是去熟练矩阵运算和解方程的方法——这些在实际工作中MATLAB可以代劳，关键的是要深入理解几个基础而又重要的概念：子空间(Subspace)，正交(Orthogonality)，特征值和特征向量(Eigenvalues and eigenvectors)，和线性变换(Linear transform)。从我的角度看来，一本线代教科书的质量，就在于它能否给这些根本概念以足够的重视，能否把它们的联系讲清楚。Strang的这本书在这方面是做得很好的。

  而且，这本书有个得天独厚的优势。书的作者长期在MIT讲授线性代数课(18.06)，课程的video在MIT的Open courseware网站上有提供。有时间的朋友可以一边看着名师授课的录像，一边对照课本学习或者复习。

  Linear Algebra

• 概率和统计 (Probability and Statistics):概率论和统计的入门教科书很多，我目前也没有特别的推荐。我在这里想介绍的是一本关于多元统计的基础教科书：

  Applied Multivariate Statistical Analysis (5th Ed.) by Richard A. Johnson and Dean W. Wichern

  这本书是我在刚接触向量统计的时候用于学习的，我在香港时做研究的基础就是从此打下了。实验室的一些同学也借用这本书学习向量统计。这本书没有特别追求数学上的深度，而是以通俗易懂的方式讲述主要的基本概念，读起来很舒服，内容也很实用。对于Linear regression, factor analysis, principal component analysis (PCA), and canonical component analysis (CCA)这些Learning中的基本方法也展开了初步的论述。

  之后就可以进一步深入学习贝叶斯统计和Graphical models。一本理想的书是

  Introction to Graphical Models (draft version). by M. Jordan and C. Bishop.

  我不知道这本书是不是已经出版了（不要和Learning in Graphical Models混淆，那是个论文集，不适合初学）。这本书从基本的贝叶斯统计模型出发一直深入到复杂的统计网络的估计和推断，深入浅出，statistical learning的许多重要方面都在此书有清楚论述和详细讲解。MIT内部可以access，至于外面，好像也是有电子版的。