❶ 什么是最优化
最优化是应用数学的一个分支，主要指在一定条件限制下，选取某种研究方案使目标达到最优的一种方法。最优化问题在当今的军事、工程、管理等领域有着极其广泛的应用。
梯度下降法是最早最简单，也是最为常用的最优化方法。
梯度下降法实现简单，当目标函数是凸函数时，梯度下降法的解是全局解。一般情况下，其解不保证是全局最优解，梯度下降法的速度也未必是最快的。
梯度下降法的优化思想是用当前位置负梯度方向作为搜索方向，因为该方向为当前位置的最快下降方向，所以也被称为是”最速下降法“。最速下降法越接近目标值，步长越小，前进越慢。
牛顿法是一种在实数域和复数域上近似求解方程的方法。方法使用函数f(x)的泰勒级数的前面几项来寻找方程f(x) = 0的根。牛顿法最大的特点就在于它的收敛速度很快。
拟牛顿法是求解非线性优化问题最有效的方法之一，其本质思想是改善牛顿法每次需要求解复杂的Hessian矩阵的逆矩阵的缺陷，它使用正定矩阵来近似Hessian矩阵的逆，从而简化了运算的复杂度。拟牛顿法和最速下降法一样只要求每一步迭代时知道目标函数的梯度。
通过测量梯度的变化，构造一个目标函数的模型使之足以产生超线性收敛性。这类方法大大优于最速下降法，尤其对于困难的问题。另外，因为拟牛顿法不需要二阶导数的信息，所以有时比牛顿法更为有效。如今，优化软件中包含了大量的拟牛顿算法用来解决无约束，约束，和大规模的优化问题。
共轭梯度法是介于最速下降法与牛顿法之间的一个方法，它仅需利用一阶导数信息，但克服了最速下降法收敛慢的缺点，又避免了牛顿法需要存储和计算Hesse矩阵并求逆的缺点，共轭梯度法不仅是解决大型线性方程组最有用的方法之一，也是解大型非线性最优化最有效的算法之一。
在各种优化算法中，共轭梯度法是非常重要的一种。其优点是所需存储量小，具有步收敛性，稳定性高，而且不需要任何外来参数。
启发式方法指人在解决问题时所采取的一种根据经验规则进行发现的方法。其特点是在解决问题时,利用过去的经验，选择已经行之有效的方法，而不是系统地、以确定的步骤去寻求答案。
启发式优化方法种类繁多，包括经典的模拟退火方法、遗传算法、蚁群算法以及粒子群算法等等。
作为一种优化算法，拉格朗日乘子法主要用于解决约束优化问题，它的基本思想就是通过引入拉格朗日乘子来将含有n个变量和k个约束条件的约束优化问题转化为含有（n+k）个变量的无约束优化问题。拉格朗日乘子背后的数学意义是其为约束方程梯度线性组合中每个向量的系数。
将一个含有n个变量和k个约束条件的约束优化问题转化为含有（n+k）个变量的无约束优化问题，拉格朗日乘数法从数学意义入手，通过引入拉格朗日乘子建立极值条件，对n个变量分别求偏导对应了n个方程，然后加上k个约束条件（对应k个拉格朗日乘子）一起构成包含了（n+k）变量的（n+k）个方程的方程组问题，这样就能根据求方程组的方法对其进行求解。
❷ 最速下降法 步长
最速下降法是一种优化算法，它以负梯度方向作为下降方向，也被称作梯度法。这种方法在无约束最优化中是较为基础且简单的一种。算法的基本步骤是从一个起始点x1出发，沿着最速下降方向d，通过一个步长λ移动到下一个点x2，用数学公式表示为x2 = x1 + λ*d。
在这个过程中，d的具体表达式已经由理论给出，而关键问题在于如何找到合适的步长λ，使得目标函数f(x1+λ*d)的值最小化。实际上，这又是一个需要不断优化的最小化问题。
通常所说的迭代过程，就是在给定的误差范围内，通过迭代关系x(k +1)=x(k)+λ(k)*d(k)来分别求解相应的λ(k)和d(k)。在每一步的求解过程中，新的点x(k +1)都需要保持在约束范围内。
简单来说，最速下降法是从起始点x(k)，沿着方向d(k)，通过步长λ(k)找到下一个点x(k +1)。然后，将x(k +1)代回原方程，原方程就变成一个关于步长λ的方程。通过求解这个方程，找到使得目标函数值最小的λ值，即求解方程关于λ的导数等于0时的λ值。
在实际操作中，找到合适的步长λ是非常重要的。如果步长太大，可能会跳过最优解；如果步长太小，则可能需要太多次迭代才能达到最优解。因此，寻找一个合适的步长λ，对于最速下降法的有效性至关重要。
在求解λ的过程中，通常会使用二分法、黄金分割法或牛顿法等方法。不同的方法有着不同的收敛速度和计算复杂度。选择合适的步长计算方法，可以大大提高算法的效率和准确性。
最速下降法虽然简单，但在解决一些特定问题时仍然非常有效。尤其是在函数的梯度容易计算的情况下，最速下降法可以作为一种快速的初步优化手段。
❸ 极限机学习和梯度学习算法的区别
梯度下降法是一个最优化算法，通常也称为最速下降法。最速下降法是求解无约束优化问题最简单和最古老的方法之一，虽然现在已经不具有实用性，但是许多有效算法都是以它为基础进行改进和修正而得到的。最速下降法是用负梯度方向为搜索方向的，最速下降法越接近目标值，步长越小，前进越慢。
梯度下降法(gradient descent)是一个最优化算法，通常也称为最速下降法。
常用于机器学习和人工智能当中用来递归性地逼近最小偏差模型。
顾名思义，梯度下降下法的计算过程就是沿递度下降的方向求解极小值（也可以沿递度上升方向求解极大值）。
其迭代公式为
,其中
代表梯度负方向，
表示梯度方向上的搜索步长。梯度方向我们可以通过对函数求导得到，步长的确定比较麻烦，太大了的话可能会发散，太小收敛速度又太慢。一般确定步长的方法是由线性搜索算法来确定，即把下一个点的坐标ak+1看做是的函数，然后求满足f(ak+1)的最小值的 即可。
因为一般情况下，梯度向量为0的话说明是到了一个极值点，此时梯度的幅值也为0.而采用梯度下降算法进行最优化求解时，算法迭代的终止条件是梯度向量的幅值接近0即可，可以设置个非常小的常数阈值。
❹ 最速下降法 步长
最速下降法是以负梯度方向作为极小化算法的下降方向，又称为梯度法，是无约束最优化中最简单的方法。
从点x1 沿着最速下降方向d，以步长λ到达点x2，数学上可以写为x2 = x1 + λ*d。这里的d的表达式已经从理论给出，那么问题就变成，寻找合适的λ使得目标函数值 f(x1+λ*d)最小，这本身又是一个最小化问题。
通常所谓的迭代算法，就是指，在某一个给定误差范围内，通过迭代关系 x（k +1)=x（k）+λ（k)*d（k）分别求解相应的 λ（k)和d（k）的过程。当然，每一步求解的x（k +1)都必须在约束范围内。
简单说来就是由起点x（k），方向d（k），步长λ（k)求出下一点x（k +1)，然后将x（k +1)代回原方程，原方程变为一个关于步长λ的方程，求解方程最小时的λ值，即方程关于λ求导，等于0时的λ值。