❶ 什麼是最優化
最優化是應用數學的一個分支，主要指在一定條件限制下，選取某種研究方案使目標達到最優的一種方法。最優化問題在當今的軍事、工程、管理等領域有著極其廣泛的應用。
梯度下降法是最早最簡單，也是最為常用的最優化方法。
梯度下降法實現簡單，當目標函數是凸函數時，梯度下降法的解是全局解。一般情況下，其解不保證是全局最優解，梯度下降法的速度也未必是最快的。
梯度下降法的優化思想是用當前位置負梯度方向作為搜索方向，因為該方向為當前位置的最快下降方向，所以也被稱為是」最速下降法「。最速下降法越接近目標值，步長越小，前進越慢。
牛頓法是一種在實數域和復數域上近似求解方程的方法。方法使用函數f(x)的泰勒級數的前面幾項來尋找方程f(x) = 0的根。牛頓法最大的特點就在於它的收斂速度很快。
擬牛頓法是求解非線性優化問題最有效的方法之一，其本質思想是改善牛頓法每次需要求解復雜的Hessian矩陣的逆矩陣的缺陷，它使用正定矩陣來近似Hessian矩陣的逆，從而簡化了運算的復雜度。擬牛頓法和最速下降法一樣只要求每一步迭代時知道目標函數的梯度。
通過測量梯度的變化，構造一個目標函數的模型使之足以產生超線性收斂性。這類方法大大優於最速下降法，尤其對於困難的問題。另外，因為擬牛頓法不需要二階導數的信息，所以有時比牛頓法更為有效。如今，優化軟體中包含了大量的擬牛頓演算法用來解決無約束，約束，和大規模的優化問題。
共軛梯度法是介於最速下降法與牛頓法之間的一個方法，它僅需利用一階導數信息，但克服了最速下降法收斂慢的缺點，又避免了牛頓法需要存儲和計算Hesse矩陣並求逆的缺點，共軛梯度法不僅是解決大型線性方程組最有用的方法之一，也是解大型非線性最優化最有效的演算法之一。
在各種優化演算法中，共軛梯度法是非常重要的一種。其優點是所需存儲量小，具有步收斂性，穩定性高，而且不需要任何外來參數。
啟發式方法指人在解決問題時所採取的一種根據經驗規則進行發現的方法。其特點是在解決問題時,利用過去的經驗，選擇已經行之有效的方法，而不是系統地、以確定的步驟去尋求答案。
啟發式優化方法種類繁多，包括經典的模擬退火方法、遺傳演算法、蟻群演算法以及粒子群演算法等等。
作為一種優化演算法，拉格朗日乘子法主要用於解決約束優化問題，它的基本思想就是通過引入拉格朗日乘子來將含有n個變數和k個約束條件的約束優化問題轉化為含有（n+k）個變數的無約束優化問題。拉格朗日乘子背後的數學意義是其為約束方程梯度線性組合中每個向量的系數。
將一個含有n個變數和k個約束條件的約束優化問題轉化為含有（n+k）個變數的無約束優化問題，拉格朗日乘數法從數學意義入手，通過引入拉格朗日乘子建立極值條件，對n個變數分別求偏導對應了n個方程，然後加上k個約束條件（對應k個拉格朗日乘子）一起構成包含了（n+k）變數的（n+k）個方程的方程組問題，這樣就能根據求方程組的方法對其進行求解。
❷ 最速下降法 步長
最速下降法是一種優化演算法，它以負梯度方向作為下降方向，也被稱作梯度法。這種方法在無約束最優化中是較為基礎且簡單的一種。演算法的基本步驟是從一個起始點x1出發，沿著最速下降方向d，通過一個步長λ移動到下一個點x2，用數學公式表示為x2 = x1 + λ*d。
在這個過程中，d的具體表達式已經由理論給出，而關鍵問題在於如何找到合適的步長λ，使得目標函數f(x1+λ*d)的值最小化。實際上，這又是一個需要不斷優化的最小化問題。
通常所說的迭代過程，就是在給定的誤差范圍內，通過迭代關系x(k +1)=x(k)+λ(k)*d(k)來分別求解相應的λ(k)和d(k)。在每一步的求解過程中，新的點x(k +1)都需要保持在約束范圍內。
簡單來說，最速下降法是從起始點x(k)，沿著方向d(k)，通過步長λ(k)找到下一個點x(k +1)。然後，將x(k +1)代回原方程，原方程就變成一個關於步長λ的方程。通過求解這個方程，找到使得目標函數值最小的λ值，即求解方程關於λ的導數等於0時的λ值。
在實際操作中，找到合適的步長λ是非常重要的。如果步長太大，可能會跳過最優解；如果步長太小，則可能需要太多次迭代才能達到最優解。因此，尋找一個合適的步長λ，對於最速下降法的有效性至關重要。
在求解λ的過程中，通常會使用二分法、黃金分割法或牛頓法等方法。不同的方法有著不同的收斂速度和計算復雜度。選擇合適的步長計算方法，可以大大提高演算法的效率和准確性。
最速下降法雖然簡單，但在解決一些特定問題時仍然非常有效。尤其是在函數的梯度容易計算的情況下，最速下降法可以作為一種快速的初步優化手段。
❸ 極限機學習和梯度學習演算法的區別
梯度下降法是一個最優化演算法，通常也稱為最速下降法。最速下降法是求解無約束優化問題最簡單和最古老的方法之一，雖然現在已經不具有實用性，但是許多有效演算法都是以它為基礎進行改進和修正而得到的。最速下降法是用負梯度方向為搜索方向的，最速下降法越接近目標值，步長越小，前進越慢。
梯度下降法(gradient descent)是一個最優化演算法，通常也稱為最速下降法。
常用於機器學習和人工智慧當中用來遞歸性地逼近最小偏差模型。
顧名思義，梯度下降下法的計算過程就是沿遞度下降的方向求解極小值（也可以沿遞度上升方向求解極大值）。
其迭代公式為
,其中
代表梯度負方向，
表示梯度方向上的搜索步長。梯度方向我們可以通過對函數求導得到，步長的確定比較麻煩，太大了的話可能會發散，太小收斂速度又太慢。一般確定步長的方法是由線性搜索演算法來確定，即把下一個點的坐標ak+1看做是的函數，然後求滿足f(ak+1)的最小值的 即可。
因為一般情況下，梯度向量為0的話說明是到了一個極值點，此時梯度的幅值也為0.而採用梯度下降演算法進行最優化求解時，演算法迭代的終止條件是梯度向量的幅值接近0即可，可以設置個非常小的常數閾值。
❹ 最速下降法 步長
最速下降法是以負梯度方向作為極小化演算法的下降方向，又稱為梯度法，是無約束最優化中最簡單的方法。
從點x1 沿著最速下降方向d，以步長λ到達點x2，數學上可以寫為x2 = x1 + λ*d。這里的d的表達式已經從理論給出，那麼問題就變成，尋找合適的λ使得目標函數值 f(x1+λ*d)最小，這本身又是一個最小化問題。
通常所謂的迭代演算法，就是指，在某一個給定誤差范圍內，通過迭代關系 x（k +1)=x（k）+λ（k)*d（k）分別求解相應的 λ（k)和d（k）的過程。當然，每一步求解的x（k +1)都必須在約束范圍內。
簡單說來就是由起點x（k），方向d（k），步長λ（k)求出下一點x（k +1)，然後將x（k +1)代回原方程，原方程變為一個關於步長λ的方程，求解方程最小時的λ值，即方程關於λ求導，等於0時的λ值。