群優化演算法全局收斂性證明

㈠ 優化設計演算法的收斂准則有哪些

點距准則
函數下降量准則
梯度准則

㈡ 蟻群演算法的執行結果一定收斂與全局最優解嗎

什麼是啟發式演算法轉自：p://blog.csdn.net/aris_zzy/archive/2006/05/27/757156.aspx引言：解決實際的問題，要建模型，在求解。求解要選擇演算法，只有我們對各種演算法的優缺點都很熟悉後才能根據實際問題選出有效的演算法。但是對各種演算法都了如指掌是不現實的，但多知道一些，會使你的選擇集更大，找出最好演算法的概率越大。現在研一，要開題了些點文獻綜述，願與大家分享。大自然是神奇的，它造就了很多巧妙的手段和運行機制。受大自然的啟發，人們從大自然的運行規律中找到了許多解決實際問題的方法。對於那些受大自然的運行規律或者面向具體問題的經驗、規則啟發出來的方法，人們常常稱之為啟發式演算法（Heuristic Algorithm）。現在的啟發式演算法也不是全部來自然的規律，也有來自人類積累的工作經驗。啟發式演算法的發展：啟發式演算法的計算量都比較大，所以啟發式演算法伴隨著計算機技術的發展，取得了巨大的成就。40年代：由於實際需要，提出了啟發式演算法（快速有效）。50年代：逐步繁榮，其中 貪婪演算法和局部搜索 等到人們的關注。60年代: 反思，發現以前提出的啟發式演算法速度很快，但是解得質量不能保證，而且對大規 模的問題仍然無能為力（收斂速度慢）。啟發式演算法的不足和如何解決方法：（水平有限 僅僅提出6點）啟發式演算法目前缺乏統一、完整的理論體系。很難解決！ 啟發式演算法的提出就是根據經驗提出，沒有什麼堅實的理論基礎。由於NP理論，啟發式演算法就解得全局最優性無法保證。等NP？=P有結果了再說吧，不知道這個世紀能不能行。各種啟發式演算法都有個自優點如何，完美結合。如果你沒有實際經驗，你就別去干這個，相結合就要做大量嘗試，或許會有意外的收獲。啟發式演算法中的參數對演算法的效果起著至關重要的作用，如何有效設置參數。還是那句話，這是經驗活但還要悟性，只有try again………..啟發演算法缺乏有效的迭代停止條件。還是經驗，迭代次數100不行，就200，還不行就1000…………還不行估計就是演算法有問題，或者你把它用錯地方了………..啟發式演算法收斂速度的研究等。你會發現，沒有完美的東西，要快你就要付出代價，就是越快你得到的解也就遠差。其中（４）集中反映了超啟發式演算法的克服局部最優的能力。雖然人們研究對啟發式演算法的研究將近５０年，但它還有很多不足：1.啟發式演算法目前缺乏統一、完整的理論體系。2.由於NP理論，各種啟發式演算法都不可避免的遭遇到局部最優的問題，如何判斷3.各種啟發式演算法都有個自優點如何，完美結合。4.啟發式演算法中的參數對演算法的效果起著至關重要的作用，如何有效設置參數。5.啟發演算法缺乏有效的迭代停止條件。6.啟發式演算法收斂速度的研究等。70年代：計算復雜性理論的提出，NP問題。許多實際問題不可能在合理的時間范圍內找到全局最優解。發現貪婪演算法和局部搜索演算法速度快，但解不好的原因主要是他們只是在局部的區域內找解，等到的解沒有全局最優性。 由此必須引入新的搜索機制和策略……….. Holland的遺傳演算法出現了（Genetic Algorithm）再次引發了人們研究啟發式演算法的 興趣。80年代以後： 模擬退火演算法（Simulated Annealing Algorithm），人工神經網路（Artificial Neural Network），禁忌搜索（Tabu Search）相繼出現。 最近比較熱或剛熱過去的：演化演算法（Evolutionary Algorithm）, 蟻群演算法（Ant Algorithms）， 擬人擬物演算法，量子演算法等。各個演算法的思想這就不再詳細給出（以後會給出一些，關注我的blog） ，為什麼要引出啟發式演算法，因為NP問題，一般的經典演算法是無法求解，或求解時間過長，我們無法接受。這里要說明的是：啟發式演算法得到的解只是近似最優解（近似到什麼程度，只有根據具體問題才能給出）. 二十一世紀的最大的數學難題NP？=P，如果NP=P啟發式演算法就不在有存在的意義。 優勝劣汰是大自然的普遍規律，它主要通過選擇和變異來實現。選擇是優化的基本思想，變異（多樣化）是隨機搜索或非確定搜索的基本思想。「優勝劣汰」是演算法搜索的核心，根據「優勝劣汰」策略的不同，可以獲得不

㈢ 混沌優化演算法可以求解全局最優解嗎

非線性最優化問題的一種混合解法

摘 要：把BFGS方法與混沌優化方法相結合，基於混沌變數提出一種求解具有變數邊界約束非線性最優化問題的混合優化方法。混合演算法兼顧了混沌優化全局搜索能力強和BFGS方法收斂速度快的優點，成為一種求解非凸優化問題全局最優的有效方法。算例表明，當混沌搜索的次數達到一定數量時，混合優化方法可以保證演算法收斂到全局最優解，且計算效率比混沌優化方法有很大提高。

關鍵詞：混合法；BFGS方法；混沌優化方法；全局最優

1 引言
在系統工程、控制工程、統計學、反問題優化求解等領域中，很多問題是具有非凸性的。對此普通的優化技術只能求出局部最優解，因為這些確定性演算法總是解得最近的一個極值點[1]，只有能夠給出很好的初始點才有可能得出所需要的全局最優解。為此，實際應用中通過在多個初始點上使用傳統數值優化方法來求取全局解的方法仍然被人們所採用，但是這種處理方法求得全局解的概率不高，可靠性低，建立盡可能大概率的求解全局解演算法仍然是一個重要問題。近年來基於梯度法的全局最優化方法已經有所研究[2]，基於隨機搜索技術的遺傳演算法和模擬退火演算法等在全局優化問題中的應用也得到越來越大的重視[3-4]。本文則基於混沌優化和BFGS方法，提出一種求解具有簡單界約束最優化問題(1)的混合演算法。
混沌是存在於非線性系統中的一種較為普遍的現象。混沌運動宏觀上無序無律，具有內隨機性、非周期性和局部不穩定性，微觀上有序有律，並不是完全的隨機運動，具有無窮嵌套的自相似幾何結構、存在普適性規律，並不是雜亂無章的。利用混沌變數的隨機性、遍歷性和規律性特點可以進行優化搜索[5]，且混沌優化方法容易跳出局部最優點。但是某些狀態需要很長時間才能達到，如果最優值在這些狀態時，計算時間勢必很長[5]。可以說混沌優化具有全局搜索能力，其局部搜索能力稍顯不足，文[5]採用二次載波技術，文[6]考慮逐漸縮小尋優變數的搜索空間都是為了彌補這一弱點。而本文則採用混沌搜索與BFGS方法進行優化求解，一方面採用混沌搜索幫助BFGS方法跳出局部最優，另一方面利用BFGS增強解附近的超線性收斂速度和搜索能力，以提高搜索最優的效率。
2 混沌－BFGS混合優化方法
2.1 BFGS方法
作為求解無約束最優化問題的擬牛頓方法類最有代表性的演算法之一，BFGS方法處理凸非線性規劃問題，以其完善的數學理論基礎、採用不精確線性搜索時的超線性收斂性和處理實際問題有效性，受到人們的重視[7-9]。擬牛頓方法使用了二階導數信息，但是並不直接計算函數的Hesse矩陣，而是採用一階梯度信息來構造一系列的正定矩陣來逼近Hesse矩陣。BFGS方法求解無約束優化問題min()的主要步驟如下：
(1) 給變數賦初值x0，變數維數n和BFGS方法收斂精度ε，令B0=I（單位陣），k=0，計算在點x0的梯度g0。
(2) 取sk=-Bk-1gk，沿sk作一維搜索，確定最優步長αk，，得新點xk+1=xk+αksk，計算xk+1點的梯度gk+1。
(3) 若||gk+1||≤ε，則令，，BFGS搜索結束，轉步驟3；否則執行(4)。
(4) 計算Bk+1：
(2)
(3)
(5) k=k+1，轉(2)。
2.2 混沌優化方法
利用混沌搜索求解問題(1)時，先建立待求變數與混沌變數的一一對應關系，本文採用。然後,由Logistic映射式(4)產生個軌跡不同的混沌變數（）進行優化搜索，式(4)中=4。已經證明，=4是「單片」混沌，在[0,1]之間歷遍。
(4)
(1)給定最大混沌變數運動次數M；給賦初值，計算和；置，。
(2) 。
(3) 。
(4) 若k<M，
若，令，；
若，和保持不變；
然後令k=k+1，，轉(2)。
若k>M，則，，混沌搜索結束。
2.3 混合優化方法
混沌方法和BFGS方法混合求解連續對象的全局極小值優化問題(1)的步驟如下：
step1 設置混沌搜索的最大次數M，迭代步數iter=0，變數賦初值x0，。
step2 以為始點BFGS搜索，得當前BFGS方法最優解及=。
step3 若，取=；若，取；若，取，是相對於,較小的數。
step 4 以為始點進行混沌搜索M次，得混沌搜索後的最優解及=。
step5 若<，iter=iter+1，，轉step2；否則執行step6。
step6 改變混沌搜索軌跡，再次進行混沌搜索，即給加微小擾動，執行step 4，得搜索結果和。若<，iter=iter+1，，轉step2；否則計算結束，輸出、。
對全局極大值問題，max ，可以轉化為求解全局極小問題min 。
混合演算法中混沌搜索的作用是大范圍宏觀搜索，使得演算法具有全局尋優性能。而BFGS搜索的作用是局部地、細致地進行優化搜索，處理的是小范圍搜索問題和搜索加速問題。
3 算例

圖 1 函數-特性示意圖 圖 2 函數特性示意圖
採用如下兩個非常復雜的、常用於測試遺傳演算法性能的函數測試本文演算法：

函數稱為Camel 函數，該函數有6個局部極小點(1.607105, 0.568651)、(-1.607105, -0.568651)、(1.703607, -0.796084)、(-1.703607, 0.796084)、(-0.0898,0.7126)和(0.0898,-0.7126)，其中(-0.0898,0.7126)和(0.0898,-0.7126)為兩個全局最小點，最小值為-1.031628。函數稱為 Schaffer's函數，該函數有無數個極大值，其中只有（0，0）為全局最大點，最大值為1。此函數的最大峰值周圍有一圈脊，它們的取值均為0.990283，因此很容易停留在此局部極大點。文獻[10]採用該函數對該文提出的基於移動和人工選擇的改進遺傳演算法（GAMAS）其性能進行了考察，運行50次，40％的情況下該函數的唯一全局最優點能夠找到。而採用本文混合演算法，由計算機內部隨機函數自動隨機生產100個不同的初始點，由這些初始點出發，一般混合演算法迭代2－4次即能夠收斂。M取不同數值時對函數、的計算結果分別如表1和表2所示，表中計算時間是指在奔騰133微機上計算時間。
由表2可見，當M=1500時，本文方法搜索到最優解的概率即達到40％，而此時計算量比文獻[10]小。同樣由混合演算法的100個起始點，採用文獻[5]的演算法對函數優化計算100次，以作為收斂標准，混沌搜索50000次，計算結果為67次搜索到最優解，概率為67%，平均計算時間為1.2369s。而即使保證混合演算法100次全收斂到最優解所花費的平均計算時間也只為0.2142s（表1），可見混合演算法優於文獻[5]的方法。
表1 M取不同數值時函數的計算結果
_____________________________________________________________________
M 搜索到全局最優點的次數 搜索到最優的概率 平均計算時間
(-0.0898,0.7126) (0.0898,-0.7126)
_____________________________________________________________________________________________
1000 44 39 83% 0.1214s
3000 53 45 98% 0.1955s
5000 53 47 100% 0.2142s
________________________________________________________________________________________________

表2 M取不同數值時函數的計算結果
___________________________________________________________
M 搜索到全局最優點的次數 搜索到最優的概率 平均計算時間
____________________________________________________________________________________
1500 40 40% 0.1406s
5000 73 73% 0.2505s
10000 88 88% 0.4197s
50000 100 100% 1.6856s
____________________________________________________________________________________

4 計算結果分析
由表1和表2可見，混合演算法全局尋優能力隨M的增加而增大，當M達到某一足夠大的數值Mu後，搜索到全局最優的概率可以達到100％。
從理論上說，Mu趨向無窮大時，才能使混沌變數遍歷所有狀態，才能真正以概率1搜索到最優點。但是，本文混沌運動M次的作用是幫助BFGS方法跳出局部最優點，達到比當前局部最優函數值更小的另一局部最優附近的某一點處，並不是要混沌變數遍歷所有狀態。由混沌運動遍歷特性可知，對於某一具體問題，Mu達到某一具體有限數值時，混沌變數的遍歷性可以得到較好模擬，這一點是可以滿足的，實際算例也證實了這一點。
由於函數性態、復雜性不同，對於不同函數，如這里的測試函數、，數值Mu的大小是有差別的。對於同一函數，搜索區間增大，在相同混沌運動次數下，即使始點相同，總體而言會降低其搜索到全局最優的概率,要保證演算法仍然以概率1收斂到全局最優，必然引起Mu 增大。跟蹤計算中間結果證實，當M足夠大時，混合演算法的確具有跳出局部最優點，繼續向全局最優進行搜索的能力；並且混合演算法的計算時間主要花費在為使混合演算法具有全局搜索能力而進行混沌搜索上。
5 結語
利用混沌變數的運動特點進行優化，具有非常強的跳出局部最優解的能力，該方法與BFGS方法結合使用，在可以接受的計算量下能夠計算得到問題的最優解。實際上，混沌優化可以和一般的下降類演算法結合使用，並非局限於本文採用的BFGS方法。採用的Logistic映射產生混沌變數序列，只是產生混沌變數的有效方式之一。
混沌運動與隨機運動是不同的。混沌是確定性系統中由於內稟隨機性而產生的一種復雜的、貌似無規的運動。混沌並不是無序和紊亂，更像是沒有周期的秩序。與隨機運動相比較，混沌運動可以在各態歷經的假設下，應用統計的數字特徵來描述。並且，混沌運動不重復地經過同一狀態，採用混沌變數進行優化比採用隨機變數進行優化具有優勢。
混沌優化與下降類方法結合使用是有潛力的一種全局優化途徑，是求解具有變數界約束優化問題的可靠方法。如何進一步提高搜索效率，以及如何把混沌優化有效應用於復雜約束優化問題是值得進一步研究的課題。
本文演算法全局收斂性的嚴格數學證明正在進行之中。
參考文獻
[1]胡山鷹，陳丙珍，何小榮，沈靜珠．非線性規劃問題全局優化的模擬退火法[J]．清華大學學報，37(6)，1997，5-9．
[2]C A Floudas, A Aggarwal, A R Ciric． Global optimum search for nonconvex NLP and MINLP problems[J]. Comput Chem Engng． 1989， 13(10)， 1117~1132．
[3]康立山，謝雲，尤矢勇等．非數值並行演算法（第一冊）――模擬退火演算法[M]．北京：科學出版社，1998．
[4]劉勇，康立山，陳琉屏．非數值並行演算法（第二冊）――遺傳演算法[M]．北京：科學出版社，1998．
[5]李兵，蔣慰孫．混沌優化方法及其應用[J]．控制理論與應用，14(4)，1997，613-615．
[6]張彤，王宏偉，王子才．變尺度混沌優化方法及其應用[J]．控制與決策，14(3)，1999，285-287．
[7]席少霖．非線性最優化方法[M]．北京：高等教育出版社，1992．
[8]席少霖，趙鳳志．最優化計算方法[M]．上海：上海科學技術出版社，1983．
[9]Press W H, Tenkolsky S A, Vetterling W T, Flannery B P．Numerical Recipes in C, The Art of Scientific Computing[M]． Second edition， Cambridge University Press， 1992．
[10]J C Ports．The development and evaluation of an improved genetic algorithm based on migration and artificial selection[J]．IEEE Trans. Syst. Man and Cybern.．1994, 24(1)，73-85．
A Hybrid Approach for Nonlinear Optimization
Abstract：Combined BFGS method with chaos optimization method, a hybrid approach was proposed to solve nonlinear optimization problems with boundary restraints of variables. The hybrid method is an effective approach to solve nonconvex optimization problems, as it given both attentions to the inherent virtue to locate global optimum of chaos optimization method and the advantage of high convergence speed of BFGS method. Numerical examples illustrate that the present method possesses both good capability to search global optima and far higher convergence speed than that of chaos optimization method.

㈣ 怎麼判斷粒子群優化演算法有沒有局部收斂

那要看你用什麼軟體，測試什麼函數了。
基本思想就是測試的目標函數值為y值，迭代次數為x值，統計數據，繪制圖像~得到的就是迭代收斂曲線圖~

㈤ 請問智能優化演算法以及神經網路能不能用數學理論進行證明

智能優化演算法多達十幾種，你說的是哪一種？而且你光說演算法證明，這個演算法本來就不存在證明，所謂的證明就是對演算法收斂性的證明。就拿最普遍的遺傳演算法來說吧，這個的證明通常是用馬氏鏈來描述，Holland本人則是通過模式方式來證明，但是證明過程被大家所 不認同。因為這種啟發式隨機搜索演算法只能用概率來描述他的行為，那麼一個依概率存在的東西，找到最優也是依概率的，所以所有的智能演算法至今沒有任何一個人說他的演算法收斂性證明是嚴謹的，是經得起推敲的。所以演算法的證明通常書上不說，要麼就是簡要說一下，因為本身意義不大，實際應用中，演算法的參數都是要反復調整的。至於神經網路，你要證明神經網路的什麼？BP的學習也不需要證明啊

㈥ 牛頓迭代法的全局收斂性和局部收斂性有何區別各自有什麼作用要詳細點的,

總的來說局部收斂性指的是初值取在根的局部時演算法(一般)具有二階收斂速度,全局收斂性是指初值在定義域內任取時演算法是否收斂,若收斂其速度如何,收斂到哪個根.
具體來說
局部收斂性有如下定理
設已知 f(x) = 0 有根 a,f(x) 充分光滑(各階導數存在且連續).
若 f'(a) != 0(單重零點),則初值取在 a 的某個鄰域內時,迭代法 x[n+1] = x[n] - f(x[n])/f'(x[n]) 得到的序列 x[n] 總收斂到 a,且收斂速度至少是二階的.
若 f'(a) == 0(多重零點),則初值取在 a 的某個鄰域內時,收斂速度是一階的.
記 g(x)=x-f(x)/f'(x),其中"某個鄰域"可由 |g'(x)|

㈦ 怎麼證明它的收斂性

望採納

㈧ 遺傳演算法全局收斂能力和全局尋優能力一樣還是不一樣

收斂能力是指的從一個初始條件出發，經過一系列迭代之後，最終能否收斂到最優解；全局尋優能力實際上指演算法的「搜索」能力。
一個優化收斂能力差，意味著有時候他的求解不一定收斂（正常情況下，經過一些步的迭代後，最好解會很穩定）
尋優能力差意味著在很多初始條件下，演算法找不到系統最優解或近似最優解。

㈨ 怎麼判斷粒子群優化演算法有沒有局部收斂

轉載請註明：來自網路知道——小七的風
首先說，標準的粒子群演算法是通過控制權重系數ω的線性下降來使得種群收斂的，從收斂圖上看，如果在多次迭代後（比如100次迭代後）如果最優粒子的適應度值不再變化即認為此時演算法已經達到收斂。
理論上，粒子群通過自身的更新機制使得每個粒子在每次的迭代中會向該粒子的歷史最優位置以及全局粒子位置的中間（或周圍）位置靠近，這樣雖然保證了粒子搜索的高效性（假設最優點存在於全局最優點與歷史最優點的中間位置）但勢必帶來了粒子搜索范圍的減少，所以容易出現局部收斂，並且已有相關文獻證明了這不是一個全局最優的演算法。
還有一種簡單的做法是證偽，即不去直接證明粒子群是一個全局最優，而是試圖去找到一個點，這個點的適應度值比粒子群找到的全局最優點的適應度值更好，這樣就間接說明了演算法沒有找到全局最優點（可以採用純隨機，直到找到比粒子群提供的全局最優點好為止）

㈩ 如何提高蟻群路由演算法收斂速度

螞蟻演算法是一種新型隨機優化演算法,能有效解決Ad Hoc網路多約束的QoS路由問題,但存在收斂速度慢和易陷入局部最優等缺點.針對於此,在借鑒精英策略的基礎上提出了一種基於雙向收斂蟻群演算法,並將該演算法應用於Ad Hoc網路的QoS路由問題中.模擬結果表明,演算法可明顯提高數據包的投遞率,降低端到端的傳輸時延.
可以
針對蟻群演算法(ACA)尋優性質優良,但搜索時間長、收斂速度慢、易限於局部最優解,從而使其進一步推廣應用受到局限的問題,對演算法的全局收斂性進行了深入的理論研究,並從改善全局收斂性的角度對演算法作了一系列改進,最後對Bayes29這一典型的TSP問題進行了模擬實驗。實驗結果證明,改進後的蟻群演算法具有很好的全局收斂性能。這為蟻群演算法的進一步理論研究打下了很好的基礎,對其在各優化領域中的推廣應用具有重要意義。