⑴ 常用優化器演算法歸納介紹
優化器是神經網路訓練過程中，進行梯度下降以尋找最優解的優化方法。不同方法通過不同方式（如附加動量項，學習率自適應變化等）側重於解決不同的問題，但最終大都是為了加快訓練速度。
這里就介紹幾種常見的優化器，包括其原理、數學公式、核心思想及其性能；
核心思想： 即針對每次輸入的訓練數據，計算輸出預測與真值的Loss的梯度；
從表達式來看，網路中參數的更新，是不斷向著最小化Loss函數的方向移動的：
優點:
簡單易懂，即對於相應的最優解（這里認為是Loss的最小函數），每次變數更新都是沿著局部梯度下降最快的方向，從而最小化損失函數。
缺點:
不同於標准梯度下降法（Gradient Descent）一次計算所有數據樣本的Loss並計算相應的梯度，批量梯度下降法（BGD, Batch Gradient Descent）每次只取一個小批次的數據及其真實標簽進行訓練，稱這個批次為mini-batch；
優點：
缺點：
隨機梯度下降法的 batch size 選擇不當可能導致模型難以收斂；由於這種方法是在一次更新中，就對整個數據集計算梯度，所以計算起來非常慢，遇到很大量的數據集也會非常棘手，而且不能投入新數據實時更新模型。
我們會事先定義一個迭代次數 epoch，首先計算梯度向量 params_grad，然後沿著梯度的方向更新參數 params，learning rate 決定了我們每一步邁多大。
Batch gradient descent 對於凸函數可以收斂到全局極小值，對於非凸函數可以收斂到局部極小值。
和 BGD 的一次用所有數據計算梯度相比，SGD 每次更新時對每個樣本進行梯度更新，對於很大的數據集來說，可能會有相似的樣本，這樣 BGD 在計算梯度時會出現冗餘，而 SGD 一次只進行一次更新，就沒有冗餘，而且比較快，並且可以新增樣本。
即訓練時，每次只從一批訓練樣本中隨機選取一個樣本進行梯度下降；對隨機梯度下降來說，只需要一次關注一個訓練樣本，一點點把參數朝著全局最小值的方向進行修改了。
整體數據集是個循環，其中對每個樣本進行一次參數更新
缺點：
梯度下降速度比較慢，而且每次梯度更新時往往只專注與局部最優點，而不會恰好指向全局最優點；
單樣本梯度更新時會引入許多雜訊（跟訓練目標無關的特徵也會被歸為該樣本分類的特徵）；
SGD 因為更新比較頻繁，會造成 cost function 有嚴重的震盪。
BGD 可以收斂到局部極小值，當然 SGD 的震盪可能會跳到更好的局部極小值處。
當我們稍微減小 learning rate，SGD 和 BGD 的收斂性是一樣的。
優點：
當處理大量數據時，比如SSD或者faster-rcnn等目標檢測模型，每個樣本都有大量候選框參與訓練，這時使用隨機梯度下降法能夠加快梯度的計算。
隨機梯度下降是通過每個樣本來迭代更新一次，如果樣本量很大的情況，那麼可能只用其中部分的樣本，就已經將 迭代到最優解了，對比上面的批量梯度下降，迭代一次需要用到十幾萬訓練樣本，一次迭代不可能最優，如果迭代10次的話就需要遍歷訓練樣本10次。缺點是SGD的噪音較BGD要多，使得SGD並不是每次迭代都向著整體最優化方向。所以雖然訓練速度快，但是准確度下降，並不是全局最優。雖然包含一定的隨機性，但是從期望上來看，它是等於正確的導數的。
梯度更新規則：
MBGD 每一次利用一小批樣本，即 n 個樣本進行計算，這樣它可以降低參數更新時的方差，收斂更穩定，另一方面可以充分地利用深度學習庫中高度優化的矩陣操作來進行更有效的梯度計算。
和 SGD 的區別是每一次循環不是作用於每個樣本，而是具有 n 個樣本的批次。
超參數設定值: n 一般取值在 50～256
缺點：（兩大缺點）
鞍點就是：一個光滑函數的鞍點鄰域的曲線，曲面，或超曲面，都位於這點的切線的不同邊。例如這個二維圖形，像個馬鞍：在x-軸方嚮往上曲，在y-軸方嚮往下曲，鞍點就是（0，0）。
為了應對上面的兩點挑戰就有了下面這些演算法
核心思想：
不使用動量優化時，每次訓練的梯度下降方向，都是按照當前批次訓練數據計算的，可能並不能代表整個數據集，並且會有許多雜訊，下降曲線波動較大：
添加動量項之後，能夠有效減小波動，從而加快訓練速度：
當我們將一個小球從山上滾下來時，沒有阻力的話，它的動量會越來越大，但是如果遇到了阻力，速度就會變小。
加入的這一項，可以使得梯度方向不變的維度上速度變快，梯度方向有所改變的維度上的更新速度變慢，這樣就可以加快收斂並減小震盪。
優點：
通過動量更新，參數向量會在有持續梯度的方向上增加速度；
使梯度下降時的折返情況減輕，從而加快訓練速度；
缺點：
如果數據集分類復雜，會導致 和 時刻梯度 向量方向相差較大；在進行向量求和時，得到的 會非常小，反而使訓練速度大大下降甚至模型難以收斂。
這種情況相當於小球從山上滾下來時是在盲目地沿著坡滾，如果它能具備一些先知，例如快要上坡時，就知道需要減速了的話，適應性會更好。
目前為止，我們可以做到，在更新梯度時順應 loss function 的梯度來調整速度，並且對 SGD 進行加速。
核心思想：
自適應學習率優化演算法針對於機器學習模型的學習率，採用不同的策略來調整訓練過程中的學習率，從而大大提高訓練速度。
這個演算法就可以對低頻的參數做較大的更新，對高頻的做較小的更新，也因此，對於稀疏的數據它的表現很好，很好地提高了 SGD 的魯棒性，例如識別 Youtube 視頻裡面的貓，訓練 GloVe word embeddings，因為它們都是需要在低頻的特徵上有更大的更新。
Adagrad 的優點是減少了學習率的手動調節
式中， 表示第 個分類， 表示第 迭代同時也表示分類 累計出現的次數。 表示初始的學習率取值（一般為0.01）
AdaGrad的核心思想： 縮放每個參數反比於其所有梯度歷史平均值總和的平方根。具有代價函數最大梯度的參數相應地有較大的學習率，而具有小梯度的參數又較小的學習率。
缺點：
它的缺點是分母會不斷積累，這樣學習率就會收縮並最終會變得非常小。
這個演算法是對 Adagrad 的改進，
和 Adagrad 相比，就是分母的 換成了過去的梯度平方的衰減平均值，指數衰減平均值
這個分母相當於梯度的均方根 root mean squared (RMS)，在數據統計分析中，將所有值平方求和，求其均值，再開平方，就得到均方根值 ，所以可以用 RMS 簡寫：
其中 的計算公式如下， 時刻的依賴於前一時刻的平均和當前的梯度：
梯度更新規則:
此外，還將學習率 換成了 RMS[Δθ]，這樣的話，我們甚至都不需要提前設定學習率了：
超參數設定值: 一般設定為 0.9
RMSprop 是 Geoff Hinton 提出的一種自適應學習率方法。
RMSprop 和 Adadelta 都是為了解決 Adagrad 學習率急劇下降問題的，
梯度更新規則:
RMSprop 與 Adadelta 的第一種形式相同：（使用的是指數加權平均，旨在消除梯度下降中的擺動，與Momentum的效果一樣，某一維度的導數比較大，則指數加權平均就大，某一維度的導數比較小，則其指數加權平均就小，這樣就保證了各維度導數都在一個量級，進而減少了擺動。允許使用一個更大的學習率η）
超參數設定值:
Hinton 建議設定 為 0.9, 學習率 為 0.001。
這個演算法是另一種計算每個參數的自適應學習率的方法。相當於 RMSprop + Momentum
除了像 Adadelta 和 RMSprop 一樣存儲了過去梯度的平方 vt 的指數衰減平均值 ，也像 momentum 一樣保持了過去梯度 mt 的指數衰減平均值：
如果 和 被初始化為 0 向量，那它們就會向 0 偏置，所以做了偏差校正，通過計算偏差校正後的 和 來抵消這些偏差：
梯度更新規則:
超參數設定值:
建議
示例一
示例二
示例三
上面情況都可以看出，Adagrad, Adadelta, RMSprop 幾乎很快就找到了正確的方向並前進，收斂速度也相當快，而其它方法要麼很慢，要麼走了很多彎路才找到。
由圖可知自適應學習率方法即 Adagrad, Adadelta, RMSprop, Adam 在這種情景下會更合適而且收斂性更好。
如果數據是稀疏的，就用自適用方法，即 Adagrad, Adadelta, RMSprop, Adam。
RMSprop, Adadelta, Adam 在很多情況下的效果是相似的。
Adam 就是在 RMSprop 的基礎上加了 bias-correction 和 momentum，
隨著梯度變的稀疏，Adam 比 RMSprop 效果會好。
整體來講，Adam 是最好的選擇。
很多論文里都會用 SGD，沒有 momentum 等。SGD 雖然能達到極小值，但是比其它演算法用的時間長，而且可能會被困在鞍點。
如果需要更快的收斂，或者是訓練更深更復雜的神經網路，需要用一種自適應的演算法。
各種優化器Optimizer原理：從SGD到AdamOptimizer
深度學習——優化器演算法Optimizer詳解（BGD、SGD、MBGD、Momentum、NAG、Adagrad、Adadelta、RMSprop、Adam）
⑵ 100維度用什麼優化演算法
神經網路中常用的優化演算法。
優化演算法的目的：
1. 跳出局部極值點或鞍點，尋找全局最小值；
2.使訓練過程更加穩定，更加容易收斂。
優化演算法：深度學習優化學習方法（一階、二階）
一階方法：隨機梯度下降（SGD）、動量（Momentum）、牛頓動量法（Nesterov動量）、AdaGrad（自適應梯度）、RMSProp（均方差傳播）、Adam、Nadam。
二階方法：牛頓法、擬牛頓法、共軛梯度法（CG）、BFGS、L-BFGS。
自適應優化演算法有哪些？（Adagrad（累積梯度平方）、RMSProp（累積梯度平方的滑動平均）、Adam（帶動量的RMSProp，即同時使用梯度的一、二階矩））。
梯度下降陷入局部最優有什麼解決辦法？可以用BGD、SGD、MBGD、momentum，RMSprop，Adam等方法來避免陷入局部最優。
⑶ 高層建築結構優化演算法有哪幾種
高層建築結構優化演算法：
①優化准則法一從直觀的力學原理出發，選定使結構達到最優的准則，然後根據這些准則選取適當的迭代格式，尋求結構的最優解。
②數學規劃法一從解極值問題的數學原理出發，運用數學規劃方法求得一系列設計參數的最優解。
結構優化設計：
在給定約束條件下，按某種目標(如重量最輕、成本最低、剛度最大等)求出最好的設計方案，曾稱為結構最佳設計或結構最優設計，相對於「結構分析」而言，又稱「結構綜合」；如以結構的重量最小為目標，則稱為最小重量設計。
⑷ 優化演算法是什麼
什麼是智能優化演算法 10分
智能優化演算法是一種啟發式優化演算法，包括遺傳演算法、蟻群演算法、禁忌搜索演算法、模擬退火演算法、粒子群演算法等。·智能優化演算法一般是針對具體問題設計相關的演算法，理論要求弱，技術性強。一般，我們會把智能演算法與最優化演算法進行比較，相比之下，智能算浮速度快，應用性強。
傳統優化演算法和現代優化演算法包括哪些.區別是什麼
1. 傳統優化演算法一般是針對結構化的問題，有較為明確的問題和條件描述，如線性規劃，二次規劃，整數規劃，混合規劃，帶約束和不帶約束條件等，即有清晰的結構信息；而智能優化演算法一般針對的是較為普適的問題描述，普遍比較缺乏結構信息。
2. 傳統優化演算法不少都屬於凸優化范疇，有唯一明確的全局最優點；而智能優化演算法針對的絕大多數是多極值問題，如何防止陷入局部最優而盡可能找到全局最優是採納智能優化演算法的根本原因：對於單極值問題，傳統演算法大部分時候已足夠好，而智能演算法沒有任何優勢；對多極值問題，智能優化演算法通過其有效設計可以在跳出局部最優和收斂到一個點之間有個較好的平衡，從而實現找到全局最優點，但有的時候局部最優也是可接受的，所以傳統演算法也有很大應用空間和針對特殊結構的改進可能。
3. 傳統優化演算法一般是確定性演算法，有固定的結構和參數，計算復雜度和收斂性可做理論分析；智能優化演算法大多屬於啟發性演算法，能定性分析卻難定量證明，且大多數演算法基於隨機特性，其收斂性一般是概率意義上的，實際性能不可控，往往收斂速度也比較慢，計算復雜度較高。
最新的優化演算法是什麼？
這個范圍太廣了吧？列出來一篇文獻綜述都列不完
多目標優化演算法的多目標是什麼意思
多目標優化的本質在於，大多數情況下，某目標的改善可能引起其他目標性吵灶能的降低，同時使多個目標均達到最優是不可能的，只能在各目標之間進行協調權衡和折中處理，使所有目標函數盡可能達到最優，而且問題的最優解由數量眾多，甚至無窮大的Pareto最優解組成。
編程中的優化演算法問題
1. 演算法優化的過程是學習思維的過程。學習數學實質上就是學習思維。也就是說數學教育的目的不僅僅是要讓學生掌握數學知識（包括計算技能），更重要的要讓學生學會數學地思維。演算法多樣化具有很大的教學價值，學生在探究演算法多樣化的過程中，培養了思維的靈活性，發展了學生的創造性。在認識演算法多樣化的教學價值的同時，我們也認識到不同演算法的思維價值是不相等的。要充分體現演算法多樣化的教育價值，教師就應該積極引導學生優化演算法，把優化演算法的過程看作是又一次發展學生思維、培養學生能力的機會，把優化演算法變成學生又一次主動建構的學習活動。讓學生在優化演算法的過程中，通過對各種演算法的比較和分析，進行評價，不僅評價其正確升枝扮性——這樣做對嗎？而且評價其合理性——這樣做有道理嗎？還要評價其科學性——這樣做是最好的嗎？這樣的優化過程，對學生思維品質的提高無疑是十分有用的，學生在討論、交流和反思的擇優過程中逐步學會「多中擇優，優中擇簡」的數學思想方法。教師在引導學生演算法優化的過程中，幫助學生梳理思維過程，總結學習方法，養成思維習慣，形成學習能力，長此以往學生的思維品質一定能得到很大的提高。2. 在演算法優化的過程中培養學生演算法優化搭廳的意識和習慣。意識是行動的向導，有些學生因為思維的惰性而表現出演算法單一的狀態。明明自己的演算法很繁瑣，但是卻不願動腦做深入思考，僅僅滿足於能算出結果就行。要提高學生的思維水平，我們就應該有意識的激發學生思維和生活的聯系，幫助他們去除學生思維的惰性，鼓勵他們從多個角度去思考問題，然後擇優解決；鼓勵他們不能僅僅只關注於自己的演算法，還要認真傾聽他人的思考、汲取他人的長處；引導他們去感受各種不同方法的之間聯系和合理性，引導他們去感受到數學學科本身所特有的簡潔性。再演算法優化的過程中就是要讓學生感受計算方法提煉的過程，體會其中的數學思想方法，更在於讓學生思維碰撞，並形成切合學生個人實際的計算方法，從中培養學生的數學意識，使學生能自覺地運用數學思想方法來分析事物，解決問題。這樣的過程不僅是對知識技能的一種掌握和鞏固，而且可以使學生的思維更開闊、更深刻。3. 演算法優化是學生個體學習、體驗感悟、加深理解的過程。演算法多樣化是每一個學生經過自己獨立的思考和探索，各自提出的方法，從而在群體中出現了許多種演算法。因此，演算法多樣化是群體學習能力的表現，是學生集體的一題多解，而不是學生個體的多種演算法。而演算法的優化是讓學生在群體比較的過程中優化，通過交流各自得演算法，學生可以互相借鑒，互相吸收，互相補充，在個體感悟的前提下實施優化。因為優化是學生對知識結構的再構建過程，是發自學生內心的行為和自主的活動。但是，在實施演算法最優化教學時應給學生留下一定的探索空間，以及一個逐漸感悟的過程。讓學生在探索中感悟，在比較中感悟，在選擇中感悟。這樣，才利於發展學生獨立思考能力和創造能力。4. 優化演算法也是學生後繼學習的需要。小學數學是整個數學體系的基礎，是一個有著嚴密邏輯關系的子系統。演算法教學是小學數學教學的一部分，它不是一個孤立的教學點。從某一教學內容來說，也許沒有哪一種演算法是最好的、最優的，但從演算法教學的整個系統來看，必然有一種方法是最好的、最優的，是學生後繼學習所必需掌握的。在演算法多樣化的過程中，當學生提出各種演算法後，教師要及時引導學生進行比較和分析，在比較和分析的過程中感受不同策略的特點，領悟不同方法的算理，分析不同方法的優劣，做出合理的評價，從而選擇具有普遍意義的、簡捷的、並有利於後繼學習的最優方法。5. 優化也是數學學科發展的動力。數學是一門基礎學科，是一門工具學科，它的應用十分廣泛。數學之所以有如此廣泛的應用......>>
現在哪些智能優化演算法比較新
智能優化演算法是一種啟發式優化演算法，包括遺傳演算法、蟻群演算法、禁忌搜索演算法、模擬退火演算法、粒子群演算法等。·智能優化演算法一般是針對具體問題設計相關的演算法，理論要求弱，技術性強。一般，我們會把智能演算法與最優化演算法進行比較，
最新的智能優化演算法有哪些呢，論文想研究些新演算法，但是不知道哪些演算法...
答：蟻群其實還是算比較新的。 更新的也只是這些演算法的最後改進吧。演化演算法就有很多。隨便搜一篇以這些為標題，看06年以來的新文章就可以了。 各個領域都有的。否則就是到極限，也就沒有什麼研究前景了。
演算法實現函數優化是什麼意思
比如給一個函數 f(x1,x2)=x1^2+x2^2，求這個函數最小數值。。。
數學上，我們一般都是求偏導，然後一堆的，但是演算法上，我們只要使用梯度下降，幾次迭代就可以解決問題。。。
優化演算法停止條件是什麼?
適應度越大，解越優。
判斷是否已得到近似全局最優解的方法就是遺傳演算法的終止條件。 在最大迭代次數范圍內可以選擇下列條件之一作為終止條件:
1. 最大適應度值和平均適應度值變化不大、趨於穩定;
2. 相鄰GAP代種群的距離小於可接受值，參考「蔣勇，李宏.改進NSGA-II終止判斷准則[J].計算機模擬.2009. Vol.26 No.2」
智能優化演算法中cell是什麼意思
智能優化主要是用來求最優解的，通過多次迭代計算找出穩定的收斂的最優解或近似最優解，例如復雜的單模態或多模態函數的求最值問題。
⑸ 優化演算法筆記（十四）水波演算法
（以下描述，均不是學術用語，僅供大家快樂的閱讀）
水波演算法（Water wave optimization）是根據水波理論提出的優化演算法。什麼是水波理論？簡單來說就是水波的寬度越小，其頻率越高，頻率與水波寬度的平方根成反比（具體細節我也不懂，物理方面的）。水波演算法也算是一種受物理現象（理論）啟發而提出的演算法，提出時間並不長，還有大量的研究和應用可以深入進行。
在水波演算法中，水波有三種形式來對空間進行搜索。1.傳播，2.折射，3.碎浪。傳播即水波向周圍擴散開來，折射是水波的高度趨近與0時改變了傳播的方向（我是真的理解不能，光可以折射，水也能折射的咯？），碎浪即水波的高度較高時，水波破碎形成浪花。可以看出水波的傳播是貫穿整個演算法流程的，而折射只會發生在水波高度減少至0時，碎浪則發生在水波過高時。
（強行解釋最為致命，作者開心就好）。
將每一個水波想像成一個獨立的個體，那麼每個水波將擁有3個屬性：位置X，波長 以及波高h。
在每一次迭代過程中，每個水波都會通過傳播的形式來對空間進行搜索同時水波的高度h會減少1。其位置更新公式如下：
其中 為該水波的波長， 為當前搜索空間的上下界。 的值會隨著迭代的進行而改變：
其中 為波長的衰減系數， 為一個較小的數以保證分母不為0。
每次傳播後，如果當前的水波優於傳播前的水波，則傳播到該位置，否則波浪的高度h會減少1，即：
上式中適應度函數值越大，表明位置越優。
在一個水波進行傳播之後，該水波有可能進行折射。每次傳播，水波的高度h會減少1，當h減少到0時，該水波將發生折射，同時其高度和波長也會改變，折射及高度波長改變公式如下：
折射後的位置正態分布在以當前水波和最優水波中點為均值，當前水波與最優水波距離為方差的位置。
在折射後水波的高度將會重新初始化為最大高度：
折射後， 會重新計算該水波的波長 ：
在水波進行傳播之後，到達了一個優於當前最優水波的位置，則該水波將會進行碎浪，並將當前最優水波傳播到碎浪產生的位置。
碎浪位置的產生公式如下：
k為一個隨機數，每次碎浪將會隨機選擇k個維度來進行改變。 為一個常數。如果碎浪得到的結果優於當前最優水波，則改變當前最優水波到碎浪的位置。
是不是感覺流程圖有點復雜，其實演算法沒有那麼復雜，整個過程一共只有三個操作，一個水波在一代中最多隻會執行兩種方式。每個水波可能的搜索方式有三種：1.傳播，2.先傳播後碎浪，3.先傳播後折射。
適應度函數
由於水波演算法收斂較慢，所以最大迭代次數使用100。
實驗一 ：
從圖像中可以看出，個體在向著中心不斷的收斂，其收斂速度不算很快。其結果也相對穩定。
從圖像可以推測出，水波演算法的核心參數其實是水波的最大高度，水波的最大高度決定了演算法的收斂速度和精度，就像人工蜂群演算法中的蜜源最大開采次數一樣。若一個個體連續多代沒有找到優於當前的位置，它將改變自己的策略。
從演算法的具體實現可以看出，傳播是一個在自身周圍的全局搜索的過程，折射則屬於一個大概率局部搜索，小概率跳出局部最優的操作，而碎浪則是進一步的局部搜索。那麼水波的最大高度越高，則水波演算法的全局搜索能力越強，但收斂速度越慢，反正，演算法的收斂速度越快。
實驗二 ：減少演算法的水波最大高度至5
從圖像可以看出演算法的收斂速度明顯比實驗一要快，在第30代時已經快收斂於一個點了。從結果來看，實驗二的結果也優於實驗一，由於水波的最大高度較小，演算法進行碎浪和折射的次數增加了，即演算法的局部搜索能力增強了。
同樣之前的演算法中也提到過多次，收斂速度越快，群體越容易聚集到同一個區域，演算法也越容易陷入局部最優，而適應度函數對優化演算法來說是一個黑盒函數，無法得知其復雜程度。所以對於實驗所使用的較為簡單的測試函數，水波的最大高度越小，結果的精度越高，而面對未知的問題時，應該選取較大的水波高度以避免陷入局部最優。同樣物極必反，水波的最大高度過大可能會使演算法的局部搜索較弱，我們可以選取一個動態的水波最大高度。
實驗三 ：水波最大高度隨迭代次數增加由12遞減至2
看圖像和結果感覺和實驗一差別不大，唯一的區別就是最優值要好於實驗一。在這個簡單的測試函數中無法表現出其應有的特點，由於演算法後期群體已經較為集中，也無法明顯的看出演算法的收斂速度是否隨著迭代次數增加而加快。
水波演算法也是一個新興演算法，演算法的流程較為復雜且可修改參數較多。演算法的流程和思想與蜂群演算法有點類似，但水波演算法更為復雜。水波演算法的三個搜索策略，傳播是一個全局搜索行為，也有一定的跳出局部最優能力；折射則是一個局部搜索過程，由於正態分布的原因，有較小的概率產生跳出局部最優的操作；碎浪則是一個更進一步的局部搜索，只在最優位置附近搜索。
其搜索策略使演算法在整個流程中都擁有全局搜索和局部搜索能力，全局搜索與局部搜索之間的平衡由水波的最大高度決定，最大高度約大，全局搜索能力越強，收斂速度越慢，反之，局部搜索能力越強，收斂速度越快。
以下指標純屬個人yy,僅供參考
參考文獻
Zheng, Yu-Jun. Water wave optimization: A new nature-inspired metaheuristic[J]. Computers & Operations Research, 2015, 55:1-11. 提取碼：fo70
目錄
上一篇 優化演算法筆記（十三）鯨魚演算法
下一篇 優化演算法筆記（十五）蝙蝠演算法
優化演算法matlab實現（十四）水波演算法matlab實現