退火演算法什麼意思

⑴ 退火演算法的定義

Simulate Anneal Arithmetic (SAA,模擬退火演算法)
根據Metropolis准則，粒子在溫度T時趨於平衡的概率為e-ΔE/(kT)，其中e為溫度T時的內能，ΔE為其改變數,k為Boltzmann常數。用固體退火模擬組合優化問題，將內能E模擬為目標函數值f,溫度T演化成控制參數t,即得到解組合優化問題的模擬退火演算法：由初始解i和控制參數初值t開始，對當前解重復「產生新解→計算目標函數差→接受或舍棄」的迭代，並逐步衰減t值，演算法終止時的當前解即為所得近似最優解，這是基於蒙特卡羅迭代求解法的一種啟發式隨機搜索過程。退火過程由冷卻進度表(Cooling Schele)控制，包括控制參數的初值t及其衰減因子Δt、每個t值時的迭代次數L和停止條件S。 模擬退火演算法起源於物理退火。
􀂄物理退火過程：
⑴ 加溫過程
⑵ 等溫過程
⑶ 冷卻過程 模擬退火演算法可以分解為解空間、目標函數和初始解三部分。
模擬退火的基本思想：
⑴ 初始化：初始溫度T（充分大），初始解狀態S（是演算法迭代的起點）， 每個T值的迭代次數L
⑵ 對k=1,……,L做第⑶至第6步：
⑶ 產生新解S′
⑷ 計算增量Δt′=C(S′）-C(S)，其中C(S)為評價函數
⑸ 若Δt′<0則接受S′作為新的當前解，否則以概率exp(-Δt′/T)接受S′作為新的當前解.
⑹ 如果滿足終止條件則輸出當前解作為最優解，結束程序。
終止條件通常取為連續若干個新解都沒有被接受時終止演算法。
⑺ T逐漸減少，且T->0,然後轉第2步。 模擬退火演算法新解的產生和接受可分為如下四個步驟：
第一步是由一個產生函數從當前解產生一個位於解空間的新解；為便於後續的計算和接受，減少演算法耗時，通常選擇由當前新解經過簡單地變換即可產生新解的方法，如對構成新解的全部或部分元素進行置換、互換等，注意到產生新解的變換方法決定了當前新解的鄰域結構，因而對冷卻進度表的選取有一定的影響。
第二步是計算與新解所對應的目標函數差。因為目標函數差僅由變換部分產生，所以目標函數差的計算最好按增量計算。事實表明，對大多數應用而言，這是計算目標函數差的最快方法。
第三步是判斷新解是否被接受,判斷的依據是一個接受准則，最常用的接受准則是Metropo1is准則： 若Δt′<0則接受S′作為新的當前解S,否則以概率exp(-Δt′/T)接受S′作為新的當前解S。
第四步是當新解被確定接受時，用新解代替當前解，這只需將當前解中對應於產生新解時的變換部分予以實現，同時修正目標函數值即可。此時，當前解實現了一次迭代。可在此基礎上開始下一輪試驗。而當新解被判定為舍棄時，則在原當前解的基礎上繼續下一輪試驗。 模擬退火演算法與初始值無關，演算法求得的解與初始解狀態S（是演算法迭代的起點）無關；模擬退火演算法具有漸近收斂性，已在理論上被證明是一種以概率l 收斂於全局最優解的全局優化演算法；模擬退火演算法具有並行性。

⑵ 退火演算法的應用領域及示例

作為模擬退火演算法應用，討論旅行商問題(Travelling Salesman Problem,簡記為TSP)：設有n個城市，用數碼1,…,n代表。城市i和城市j之間的距離為d(i,j) i,j=1,…,n．TSP問題是要找遍訪每個域市恰好一次的一條迴路，且其路徑總長度為最短.。
求解TSP的模擬退火演算法模型可描述如下：
解空間 解空間S是遍訪每個城市恰好一次的所有迴路，是{1,……,n}的所有循環排列的集合,S中的成員記為(w1,w2,……,wn)，並記wn+1= w1。初始解可選為(1,……,n)
目標函數 此時的目標函數即為訪問所有城市的路徑總長度或稱為代價函數：
我們要求此代價函數的最小值。
新解的產生 隨機產生1和n之間的兩相異數k和m,
若k<m,則將
(w1,w2,…,wk,wk+1,…,wm,…,wn)
變為：
(w1,w2,…,wm,wm-1,…,wk+1,wk,…,wn).
如果是k>m,則將
(w1,w2,…,wm,wm+1,…,wk,…,wn)
變為：
(wm,wm-1,…,w1,wm+1,…,wk-1,wn,wn-1,…,wk).
上述變換方法可簡單說成是「逆轉中間或者逆轉兩端」。
也可以採用其他的變換方法，有些變換有獨特的優越性，有時也將它們交替使用，得到一種更好方法。
代價函數差 設將(w1,w2,……,wn)變換為(u1,u2,……,un)，則代價函數差為：
根據上述分析，可寫出用模擬退火演算法求解TSP問題的偽程序：
Procere TSPSA:
begin
init-of-T; { T為初始溫度}
S={1,……,n}; {S為初始值}
termination=false;
while termination=false
begin
for i=1 to L do
begin
generate(S′form S); { 從當前迴路S產生新迴路S′}
Δt:=f(S′））-f(S);{f(S)為路徑總長}
IF（Δt<0) OR (EXP(-Δt/T)>Random-of-[0,1])
S=S′；
IF the-halt-condition-is-TRUE THEN
termination=true;
End;
T_lower;
End;
End
模擬退火演算法的應用很廣泛，可以較高的效率求解最大截問題(Max Cut Problem)、0-1背包問題(Zero One Knapsack Problem)、圖著色問題(Graph Colouring Problem)、調度問題(Scheling Problem)等等。 模擬退火演算法的應用很廣泛，可以求解NP完全問題，但其參數難以控制，其主要問題有以下三點：
⑴ 溫度T的初始值設置問題。
溫度T的初始值設置是影響模擬退火演算法全局搜索性能的重要因素之一、初始溫度高，則搜索到全局最優解的可能性大，但因此要花費大量的計算時間；反之，則可節約計算時間，但全局搜索性能可能受到影響。實際應用過程中，初始溫度一般需要依據實驗結果進行若干次調整。
⑵ 退火速度問題。
模擬退火演算法的全局搜索性能也與退火速度密切相關。一般來說，同一溫度下的「充分」搜索（退火）是相當必要的，但這需要計算時間。實際應用中，要針對具體問題的性質和特徵設置合理的退火平衡條件。
⑶ 溫度管理問題。
溫度管理問題也是模擬退火演算法難以處理的問題之一。實際應用中，由於必須考慮計算復雜度的切實可行性等問題，常採用如下所示的降溫方式：
T(t+1)=k×T(t)
式中k為正的略小於1.00的常數,t為降溫的次數 優點：計算過程簡單，通用，魯棒性強，適用於並行處理，可用於求解復雜的非線性優化問題。
缺點：收斂速度慢，執行時間長，演算法性能與初始值有關及參數敏感等缺點。
經典模擬退火演算法的缺點：
⑴如果降溫過程足夠緩慢，多得到的解的性能會比較好，但與此相對的是收斂速度太慢；
⑵如果降溫過程過快，很可能得不到全局最優解。
􀂄 模擬退火演算法的改進
⑴ 設計合適的狀態產生函數，使其根據搜索進程的需要
表現出狀態的全空間分散性或局部區域性。
⑵ 設計高效的退火策略。
⑶ 避免狀態的迂迴搜索。
⑷ 採用並行搜索結構。
⑸ 為避免陷入局部極小，改進對溫度的控制方式
⑹ 選擇合適的初始狀態。
⑺ 設計合適的演算法終止准則。
也可通過增加某些環節而實現對模擬退火演算法的改進。
主要的改進方式包括：
⑴ 增加升溫或重升溫過程。在演算法進程的適當時機，將溫度適當提高，從而可激活各狀態的接受概率，以調整搜索進程中的當前狀態，避免演算法在局部極小解處停滯不前。
⑵ 增加記憶功能。為避免搜索過程中由於執行概率接受環節而遺失當前遇到的最優解，可通過增加存儲環節，將一些在這之前好的態記憶下來。
⑶ 增加補充搜索過程。即在退火過程結束後，以搜索到的最優解為初始狀態，再次執行模擬退火過程或局部性搜索。
⑷ 對每一當前狀態，採用多次搜索策略，以概率接受區域內的最優狀態，而非標准SA的單次比較方式。
⑸ 結合其他搜索機制的演算法，如遺傳演算法、混沌搜索等。
⑹上述各方法的綜合應用。

⑶ 模擬退火演算法的介紹

模擬退火演算法來源於固體退火原理，是一種基於概率的演算法，將固體加溫至充分高，再讓其徐徐冷卻，加溫時，固體內部粒子隨溫升變為無序狀，內能增大，而徐徐冷卻時粒子漸趨有序，在每個溫度都達到平衡態，最後在常溫時達到基態，內能減為最小。

⑷ 什麼是退火演算法

模擬退火的基本思想:
(1) 初始化：初始溫度T(充分大)，初始解狀態S(是演算法迭代的起點)， 每個T值的迭代次數L
(2) 對k=1，……，L做第(3)至第6步：
(3) 產生新解S′
(4) 計算增量Δt′=C(S′)-C(S)，其中C(S)為評價函數
(5) 若Δt′<0則接受S′作為新的當前解，否則以概率exp(-Δt′/T)接受S′作為新的當前解.
(6) 如果滿足終止條件則輸出當前解作為最優解，結束程序。
終止條件通常取為連續若干個新解都沒有被接受時終止演算法。
(7) T逐漸減少，且T->0，然後轉第2步。

⑸ 模擬退火演算法的簡介

模擬退火演算法(Simulated Annealing，SA)最早的思想是由N. Metropolis 等人於1953年提出。1983 年,S. Kirkpatrick 等成功地將退火思想引入到組合優化領域。它是基於Monte-Carlo迭代求解策略的一種隨機尋優演算法，其出發點是基於物理中固體物質的退火過程與一般組合優化問題之間的相似性。模擬退火演算法從某一較高初溫出發，伴隨溫度參數的不斷下降,結合概率突跳特性在解空間中隨機尋找目標函數的全局最優解，即在局部最優解能概率性地跳出並最終趨於全局最優。模擬退火演算法是一種通用的優化演算法，理論上演算法具有概率的全局優化性能,目前已在工程中得到了廣泛應用，諸如VLSI、生產調度、控制工程、機器學習、神經網路、信號處理等領域。
模擬退火演算法是通過賦予搜索過程一種時變且最終趨於零的概率突跳性，從而可有效避免陷入局部極小並最終趨於全局最優的串列結構的優化演算法。

⑹ 退火演算法的介紹

模擬退火演算法來源於固體退火原理，將固體加溫至充分高，再讓其徐徐冷卻，加溫時，固體內部粒子隨溫升變為無序狀，內能增大，而徐徐冷卻時粒子漸趨有序，在每個溫度都達到平衡態，最後在常溫時達到基態，內能減為最小。

⑺ 均場退火演算法

均場退火方法既可以看作是一種新的神經網路計算模型,又可視為是對模擬退火的重大改進.該文把具有相鄰約束的多層通孔最小化問題轉換為更具廣泛意義的k-著色問題,並提出了k-著色問題的均場退火求解演算法.演算法在線段相交圖模型的基礎上,提出了相鄰矩陣和交疊矩陣等概念,並利用換位矩陣,將問題映射為相應的神經網路,再構造了該問題的能量函數.能量函數中的目標項、違背交疊約束的懲罰項、違背相鄰約束的懲罰項和神經元歸一化處理保證了網路能夠求解到一個合法解.實驗結果表明,這是一個有效的演算法.

⑻ 非數值演算法的模擬退火演算法

模擬退火演算法來源於固體退火原理，將固體加溫至充分高，再讓其徐徐冷卻，加溫時，固體
內部粒子隨溫升變為無序狀，內能增大，而徐徐冷卻時粒子漸趨有序，在每個溫度都達到平
衡態，最後在常溫時達到基態，內能減為最小。根據Metropolis 准則，粒子在溫度T 時趨於
平衡的概率為e-ΔE/(kT)，其中E 為溫度T 時的內能，ΔE 為其改變數，k 為Boltzmann 常
數。用固體退火模擬組合優化問題，將內能E 模擬為目標函數值f，溫度T 演化成控制參數
t，即得到解組合優化問題的模擬退火演算法：由初始解i 和控制參數初值t 開始，對當前解重
復「產生新解→計算目標函數差→接受或舍棄」的迭代，並逐步衰減t 值，演算法終止時的當
前解即為所得近似最優解，這是基於蒙特卡羅迭代求解法的一種啟發式隨機搜索過程。退火
過程由冷卻進度表(Cooling Schele)控制，包括控制參數的初值t 及其衰減因子Δt、每個t
值時的迭代次數L 和停止條件S。
1、模擬退火演算法可以分解為解空間、目標函數和初始解三部分 。 它為問題的所有可能(可行的或包括不可行的)解的集合，它限定了初始解選取和新解產
生時的范圍。對無約束的優化問題，任一可能解(possible solution)即為一可行解(feasible
solution)，因此解空間就是所有可行解的集合；而在許多組合優化問題中，一個解除滿足目
標函數最優的要求外，還必須滿足一組約束(constraint)，因此在解集中可能包含一些不可行
解(infeasible so1ution)。為此，可以限定解空間僅為所有可行解的集合，即在構造解時就考
慮到對解的約束；也可允許解空間包含不可行解，而在目標函數中加上所謂罰函數(penalty
function)以「懲罰」不可行解的出現。 它是對問題的優化目標的數學描述，通常表述為若干優化目標的一個和式。目標函數的
選取必須正確體現對問題的整體優化要求。例如，如上所述，當解空間包含不可行解時，目
標函數中應包含對不可行解的罰函數項，藉此將一個有約束的優化問題轉化為無約束的優化
問題。一般地，目標函數值不一定就是問題的優化目標值，但其對應關系應是顯明的。此外，
目標函數式應當是易於計算的，這將有利於在優化過程中簡化目標函數差的計算以提高演算法
的效率。 是演算法迭代的起點，試驗表明，模擬退火演算法是魯棒的(Robust)，即最終解的求得幾乎
不依賴於初始解的選取。
2、基本思想：
(1) 初始化：初始溫度T(充分大)，初始解狀態S(是演算法迭代的起點)， 每個T 值的迭
代次數L
(2) 對k=1，，L 做第(3)至第6 步：
(3) 產生新解S′
(4) 計算增量Δt′=C(S′)-C(S)，其中C(S)為評價函數
(5) 若Δt′<0 則接受S′作為新的當前解，否則以概率exp(-Δt′/T)接受S′作為新的
當前解.
(6) 如果滿足終止條件則輸出當前解作為最優解，結束程序。
終止條件通常取為連續若干個新解都沒有被接受時終止演算法。
(7) T 逐漸減少，且T->0，然後轉第2 步。
二、遺傳演算法
遺傳演算法的基本思想是基於Darwin 進化論和Mendel 的遺傳學說的。
Darwin 進化論最重要的是適者生存原理。它認為每一物種在發展中越來越適應環境。物種
每個個體的基本特徵由後代所繼承，但後代又會產生一些異於父代的新變化。在環境變化時，
只有那些能適應環境的個體特徵方能保留下來。
Mendel 遺傳學說最重要的是基因遺傳原理。它認為遺傳以密碼方式存在細胞中，並以基因
形式包含在染色體內。每個基因有特殊的位置並控制某種特殊性質；所以，每個基因產生的
個體對環境具有某種適應性。基因突變和基因雜交可產生更適應於環境的後代。經過存優去
劣的自然淘汰，適應性高的基因結構得以保存下來。
遺傳演算法簡稱GA(Genetic Algorithm)，在本質上是一種不依賴具體問題的直接搜索方法。
1、遺傳演算法的原理
遺傳演算法GA 把問題的解表示成「染色體」，在演算法中也即是以二進制編碼的串。並且，在
執行遺傳演算法之前，給出一群「染色體」，也即是假設解。然後，把這些假設解置於問題的
「環境」中，並按適者生存的原則，從中選擇出較適應環境的「染色體」進行復制，再通過
交叉，變異過程產生更適應環境的新一代「染色體」群。這樣，一代一代地進化，最後就會
收斂到最適應環境的一個「染色體」上，它就是問題的最優解。
長度為L 的n 個二進制串bi(i=1，2，，n)組成了遺傳演算法的初解群，也稱為初始群體。
在每個串中，每個二進制位就是個體染色體的基因。根據進化術語，對群體執行的操作有三
種：
（1）．選擇(Selection)
這是從群體中選擇出較適應環境的個體。這些選中的個體用於繁殖下一代。故有時也稱這一
操作為再生(Reproction)。由於在選擇用於繁殖下一代的個體時，是根據個體對環境的適
應度而決定其繁殖量的，故而有時也稱為非均勻再生(differential reproction)。
（2）．交叉(Crossover)
這是在選中用於繁殖下一代的個體中，對兩個不同的個體的相同位置的基因進行交換，從而
產生新的個體。
（3）．變異(Mutation)
這是在選中的個體中，對個體中的某些基因執行異向轉化。在串bi 中，如果某位基因為1，
產生變異時就是把它變成0；反亦反之。
2、遺傳演算法的特點
（1）．遺傳演算法從問題解的中集開始嫂索，而不是從單個解開始。
這是遺傳演算法與傳統優化演算法的極大區別。傳統優化演算法是從單個初始值迭代求最優解的；
容易誤入局部最優解。遺傳演算法從串集開始搜索，覆蓋面大，利於全局擇優。
（2）．遺傳演算法求解時使用特定問題的信息極少，容易形成通用演算法程序。
由於遺傳演算法使用適應值這一信息進行搜索，並不需要問題導數等與問題直接相關的信息。
遺傳演算法只需適應值和串編碼等通用信息，故幾乎可處理任何問題。
（3）．遺傳演算法有極強的容錯能力
遺傳演算法的初始串集本身就帶有大量與最優解甚遠的信息；通過選擇、交叉、變異操作能迅
速排除與最優解相差極大的串；這是一個強烈的濾波過程；並且是一個並行濾波機制。故而，
遺傳演算法有很高的容錯能力。
（4）．遺傳演算法中的選擇、交叉和變異都是隨機操作，而不是確定的精確規則。
這說明遺傳演算法是採用隨機方法進行最優解搜索，選擇體現了向最優解迫近，交叉體現了最
優解的產生，變異體現了全局最優解的覆蓋。
三、神經網路演算法
「人工神經網路」(ARTIFICIAL NEURAL NETWORK，簡稱A.N.N.)是在對人腦組織結構和
運行機智的認識理解基礎之上模擬其結構和智能行為的一種工程系統。早在本世紀40 年代
初期，心理學家McCulloch、數學家Pitts 就提出了人工神經網路的第一個數學模型，從此開
創了神經科學理論的研究時代。其後，F.Rosenblatt、Widrow 和Hopf、J.J.Hopfield 等學者又
先後提出了感知模型，使得人工神經網路技術得以蓬勃發展。
神經系統的基本構造是神經元(神經細胞)，它是處理人體內各部分之間相互信息傳遞的基本
單元。據神經生物學家研究的結果表明，人的一個大腦一般有10 10 ～10 11
個神經元。每個神經元都由一個細胞體，一個連接其他神經元的軸突和一些向外伸出的其它
較短分支——樹突組成。軸突的功能是將本神經元的輸出信號(興奮)傳遞給別的神經元。其
末端的許多神經末梢使得興奮可以同時傳送給多個神經元。樹突的功能是接受來自其它神經
元的興奮。神經元細胞體將接受到的所有信號進行簡單地處理(如：加權求和，即對所有的
輸入信號都加以考慮且對每個信號的重視程度——體現在權值上——有所不同)後由軸突輸
出。神經元的樹突與另外的神經元的神經末梢相連的部分稱為突觸。
1、神經網路的工作原理
人工神經網路首先要以一定的學習准則進行學習，然後才能工作。現以人工神經網路對手寫
「A」、「B」兩個字母的識別為例進行說明，規定當「A」輸入網路時，應該輸出「1」，而
當輸入為「B」時，輸出為「0」。所以網路學習的准則應該是：如果網路作出錯誤的的判決，
則通過網路的學習，應使得網路減少下次犯同樣錯誤的可能性。首先，給網路的各連接權值
賦予(0，1)區間內的隨機值，將「A」所對應的圖象模式輸入給網路，網路將輸入模式加權
求和、與門限比較、再進行非線性運算，得到網路的輸出。在此情況下，網路輸出為「1」
和「0」的概率各為50%，也就是說是完全隨機的。這時如果輸出為「1」(結果正確)，則使
連接權值增大，以便使網路再次遇到「A」模式輸入時，仍然能作出正確的判斷。如果輸出
為「0」(即結果錯誤)，則把網路連接權值朝著減小綜合輸入加權值的方向調整，其目的在
於使網路下次再遇到「A」模式輸入時，減小犯同樣錯誤的可能性。如此操作調整，當給網
絡輪番輸入若干個手寫字母「A」、「B」後，經過網路按以上學習方法進行若干次學習後，
網路判斷的正確率將大大提高。這說明網路對這兩個模式的學習已經獲得了成功，它已將這
兩個模式分布地記憶在網路的各個連接權值上。當網路再次遇到其中任何一個模式時，能夠
作出迅速、准確的判斷和識別。一般說來，網路中所含的神經元個數越多，則它能記憶、識
別的模式也就越多。
2、人工神經網路的特點
人工神經網路是由大量的神經元廣泛互連而成的系統，它的這一結構特點決定著人工神經網
絡具有高速信息處理的能力。人腦的每個神經元大約有10 3～10 4 個樹突及相應的突
觸，一個人的大腦總計約形成10 14 ～10 15 個突觸。用神經網路的術語來說，
即是人腦具有10 14 ～10 15 個互相連接的存儲潛力。雖然每個神經元的運算
功能十分簡單，且信號傳輸速率也較低(大約100 次/秒)，但由於各神經元之間的極度並行互
連功能，最終使得一個普通人的大腦在約1 秒內就能完成現行計算機至少需要數10 億次處
理步驟才能完成的任務。
人工神經網路的知識存儲容量很大。在神經網路中，知識與信息的存儲表現為神經元之間分
布式的物理聯系。它分散地表示和存儲於整個網路內的各神經元及其連線上。每個神經元及
其連線只表示一部分信息，而不是一個完整具體概念。只有通過各神經元的分布式綜合效果
才能表達出特定的概念和知識。
由於人工神經網路中神經元個數眾多以及整個網路存儲信息容量的巨大，使得它具有很強的
不確定性信息處理能力。即使輸入信息不完全、不準確或模糊不清，神經網路仍然能夠聯想
思維存在於記憶中的事物的完整圖象。只要輸入的模式接近於訓練樣本，系統就能給出正確
的推理結論。
正是因為人工神經網路的結構特點和其信息存儲的分布式特點，使得它相對於其它的判斷識
別系統，如：專家系統等，具有另一個顯著的優點：健壯性。生物神經網路不會因為個別神
經元的損失而失去對原有模式的記憶。最有力的證明是，當一個人的大腦因意外事故受輕微
損傷之後，並不會失去原有事物的全部記憶。人工神經網路也有類似的情況。因某些原因，
無論是網路的硬體實現還是軟體實現中的某個或某些神經元失效，整個網路仍然能繼續工
作。
人工神經網路是一種非線性的處理單元。只有當神經元對所有的輸入信號的綜合處理結果超
過某一門限值後才輸出一個信號。因此神經網路是一種具有高度非線性的超大規模連續時間
動力學系統。它突破了傳統的以線性處理為基礎的數字電子計算機的局限，標志著人們智能
信息處理能力和模擬人腦智能行為能力的一大飛躍。

⑼ 模擬退火演算法是什麼

從代碼角度來說，就是2個循環，一個總溫度外循環（足夠大，並逐漸減小），另一個內部循環（使其達到該特定溫度下的平衡，怎麼算平衡自己定義的）。很多書都說外部的總溫度外循環，卻忽略了內部循環，內部循環值應該多大，我也很模糊。