混合粒子群優化演算法

1. 粒子群優化演算法的演算法介紹

在找到這兩個最優值時,粒子根據如下的公式來更新自己的速度和新的位置
v[] = v[] + c1 * rand() * (pbest[] - present[]) + c2 * rand() * (gbest[] - present[]) (a)
present[] = present[] + v[] (b)
v[] 是粒子的速度, present[] 是當前粒子的位置. pbest[] and gbest[] 如前定義 rand () 是介於（0， 1）之間的隨機數. c1, c2 是學習因子. 通常 c1 = c2 = 2.
程序的偽代碼如下
For each particle
____Initialize particle
END
Do
____For each particle
________Calculate fitness value
________If the fitness value is better than the best fitness value (pBest) in history
____________set current value as the new pBest
____End
____Choose the particle with the best fitness value of all the particles as the gBest
____For each particle
________Calculate particle velocity according equation (a)
________Update particle position according equation (b)
____End
While maximum iterations or minimum error criteria is not attained
在每一維粒子的速度都會被限制在一個最大速度Vmax，如果某一維更新後的速度超過用戶設定的Vmax，那麼這一維的速度就被限定為Vmax。

2. 優化演算法筆記（五）粒子群演算法（3）

(已合並本篇內容至粒子群演算法（1）)

上一節中，我們看到小鳥們聚集到一個較小的范圍內後，不會再繼續集中。這是怎麼回事呢？
猜測：
1.與最大速度限制有關，權重w只是方便動態修改maxV。
2.與C1和C2有關，這兩個權重限制了鳥兒的搜索行為。
還是上一節的實驗， 。現在我們將maxV的值有5修改為50，即maxV=50，其他參數不變。參數如下

此時得到的最優位值的適應度函數值為0.25571,可以看出與maxV=5相比，結果差了很多而且小鳥們聚集的范圍更大了。
現在我們設置maxV=1，再次重復上面的實驗，實驗結果如下：

這次最終的適應度函數值為，比之前的結果都要好0.00273。從圖中我們可以看出，小鳥們在向一個點集中，但是他們飛行的速度比之前慢多了，如果問題更復雜，可能無法等到它們聚集到一個點，迭代就結束了。
為什麼maxV會影響鳥群的搜索結果呢？
我們依然以maxV=50為例，不過這次為了看的更加清晰，我們的鳥群只有2隻鳥，同時將幀數放慢5倍以便觀察。

思路一：限制鳥的最大飛行速率,由於慣性系數W的存在，使得控制最大速率和控制慣性系數的效果是等價的，取其一即可。
方案1：使慣性系數隨著迭代次數增加而降低，這里使用的是線性下降的方式，即在第1次迭代，慣性系數W=1,最後一次迭代時，慣性系數W=0，當然，也可以根據自己的意願取其他值。
實驗參數如下：

小鳥們的飛行過程如上圖，可以看到效果很好，最後甚至都聚集到了一個點。再看看最終的適應度函數值8.61666413451519E-17，這已經是一個相當精確的值了，說明這是一個可行的方案，但是由於其最後種群過於集中，有陷入局部最優的風險。
方案2：給每隻鳥一個隨機的慣性系數，那麼鳥的飛行軌跡也將不再像之前會出現周期性。每隻鳥的慣性系數W為（0,2）中的隨機數（保持W的期望為1）。
實驗參數如下：

可以看到小鳥們並沒有像上一個實驗一樣聚集於一個點，而是仍在一個較大的范圍內進行搜索。其最終的適應度函數為0.01176，比最初的0.25571稍有提升，但並不顯著。什麼原因造成了這種情況呢？我想可能是由於慣性系數成了期望為1的隨機數，那麼小鳥的飛行軌跡的期望可能仍然是繞著一個四邊形循環，只不過這個四邊形相比之前的平行四邊形更加復雜，所以其結果也稍有提升，當然對於概率演算法，得到這樣的結果可能僅僅是因為運氣不好
我們看到慣性系數W值減小，小鳥們聚攏到一處的速度明顯提升，那麼，如果我們去掉慣性系數這個參數會怎麼樣呢。
方案3：取出慣性系數，即取W=0，小鳥們只向著那兩個最優位置飛行。

可以看見鳥群們迅速聚集到了一個點，再看看得到的結果，最終的適應度函數值為2.9086886073362966E-30，明顯優於之前的所有操作。
那麼問題來了，為什麼粒子群演算法需要一個慣性速度，它的作用是什麼呢？其實很明顯，當鳥群迅速集中到了一個點之後它們就喪失了全局的搜索能力，所有的鳥會迅速向著全局最優點飛去，如果當前的全局最優解是一個局部最優點，那麼鳥群將會陷入局部最優。所以，慣性系數和慣性速度的作用是給鳥群提供跳出局部最優的可能性，獲得這個跳出局部最優能力的代價是它們的收斂速度減慢，且局部的搜索能力較弱（與當前的慣性速度有關）。
為了平衡局部搜索能力和跳出局部最優能力，我們可以人為的干預一下慣性系數W的大小，結合方案1和方案2，我們可以使每隻鳥的慣性系數以一個隨機周期，周期性下降，若小於0，則重置為初始值。

這樣結合了方案1和方案2的慣性系數，也能得到不錯的效果，大家可以自己一試。

思路二：改變小鳥們向群體最優飛行和向歷史最優飛行的權重。
方案4：讓小鳥向全局最優飛行的系數C2線性遞減。

小鳥們的飛行過程與之前好像沒什麼變化，我甚至懷疑我做了假實驗。看看最終結果，0.7267249621552874，這是到目前為止的最差結果。看來這不是一個好方案，讓全局學習因子C2遞減，勢必會降低演算法的收斂效率，而慣性系數還是那麼大，小鳥們依然會圍繞歷史最優位置打轉，畢竟這兩個最優位置是有一定關聯的。所以讓C1線性遞減的實驗也不必做了，其效果應該與方案4相差不大。
看來只要是慣性系數不變怎麼修改C1和C2都不會有太過明顯的效果。為什麼實驗都是參數遞減，卻沒有參數遞增的實驗呢？
1.慣性系數W必須遞減，因為它會影響鳥群的搜索范圍。
2.如果C1和C2遞增，那麼小鳥的慣性速度V勢必會跟著遞增，這與W遞增會產生相同的效果。

上面我們通過一些實驗及理論分析了粒子群演算法的特點及其參數的作用。粒子群作為優化演算法中模型最簡單的演算法，通過修改這幾個簡單的參數也能夠改變演算法的優化性能可以說是一個非常優秀的演算法。
上述實驗中，我們僅分析了單個參數對演算法的影響，實際使用時（創新、發明、寫論文時）也會同時動態改變多個參數，甚至是參數之間產生關聯。
實驗中，為了展現實驗效果，maxV取值較大，一般取值為搜索空間范圍的10%-20%，按上面（-100,100）的范圍maxV應該取值為20-40，在此基礎上，方案1、方案2效果應該會更好。
粒子群演算法是一種概率演算法，所以並不能使用一次實驗結果來判斷演算法的性能，我們需要進行多次實驗，然後看看這些實驗的效果最終來判斷，結果必須使用多次實驗的統計數據來說明，一般我們都會重復實驗30-50次，為了發論文去做實驗的小夥伴們不要偷懶哦。
粒子群演算法的學習目前告一段落，如果有什麼新的發現，後面繼續更新哦！
以下指標純屬個人yy,僅供參考

目錄
上一篇 優化演算法筆記（四）粒子群演算法（2）
下一篇 優化演算法筆記（六）遺傳演算法

3. 粒子群優化演算法

         粒子群演算法 的思想源於對鳥/魚群捕食行為的研究，模擬鳥集群飛行覓食的行為，鳥之間通過集體的協作使群體達到最優目的，是一種基於Swarm Intelligence的優化方法。它沒有遺傳演算法的「交叉」(Crossover) 和「變異」(Mutation) 操作，它通過追隨當前搜索到的最優值來尋找全局最優。粒子群演算法與其他現代優化方法相比的一個明顯特色就是所 需要調整的參數很少、簡單易行 ，收斂速度快，已成為現代優化方法領域研究的熱點。

         設想這樣一個場景：一群鳥在隨機搜索食物。已知在這塊區域里只有一塊食物；所有的鳥都不知道食物在哪裡；但它們能感受到當前的位置離食物還有多遠。那麼找到食物的最優策略是什麼呢？

        1. 搜尋目前離食物最近的鳥的周圍區域

        2. 根據自己飛行的經驗判斷食物的所在。

        PSO正是從這種模型中得到了啟發，PSO的基礎是 信息的社會共享

        每個尋優的問題解都被想像成一隻鳥，稱為「粒子」。所有粒子都在一個D維空間進行搜索。

        所有的粒子都由一個fitness function 確定適應值以判斷目前的位置好壞。

        每一個粒子必須賦予記憶功能，能記住所搜尋到的最佳位置。

        每一個粒子還有一個速度以決定飛行的距離和方向。這個速度根據它本身的飛行經驗以及同伴的飛行經驗進行動態調整。

        粒子速度更新公式包含三部分： 第一部分為「慣性部分」，即對粒子先前速度的記憶；第二部分為「自我認知」部分，可理解為粒子i當前位置與自己最好位置之間的距離；第三部分為「社會經驗」部分，表示粒子間的信息共享與合作，可理解為粒子i當前位置與群體最好位置之間的距離。

        第1步   在初始化范圍內，對粒子群進行隨機初始化，包括隨機位置和速度

        第2步   根據fitness function，計算每個粒子的適應值

        第3步   對每個粒子，將其當前適應值與其個體歷史最佳位置（pbest）對應的適應值作比較，如果當前的適應值更高，則用當前位置更新粒子個體的歷史最優位置pbest

        第4步   對每個粒子，將其當前適應值與全局最佳位置（gbest）對應的適應值作比較，如果當前的適應值更高，則用當前位置更新粒子群體的歷史最優位置gbest

        第5步   更新粒子的速度和位置

        第6步   若未達到終止條件，則轉第2步

        【通常演算法達到最大迭代次數或者最佳適應度值得增量小於某個給定的閾值時演算法停止】

粒子群演算法流程圖如下：

以Ras函數（Rastrigin's Function）為目標函數，求其在x1,x2∈[-5,5]上的最小值。這個函數對模擬退火、進化計算等演算法具有很強的欺騙性，因為它有非常多的局部最小值點和局部最大值點，很容易使演算法陷入局部最優，而不能得到全局最優解。如下圖所示，該函數只在(0,0)處存在全局最小值0。

4. 粒子群演算法的優缺點

優點：PSO同遺傳演算法類似，是一種基於迭代的優化演算法。系統初始化為一組隨機解，通過迭代搜尋最優值。同遺傳演算法比較，PSO的優勢在於簡單容易實現，並且沒有許多參數需要調整。

缺點：在某些問題上性能並不是特別好。網路權重的編碼而且遺傳運算元的選擇有時比較麻煩。最近已經有一些利用PSO來代替反向傳播演算法來訓練神經網路的論文。

(4)混合粒子群優化演算法擴展閱讀：

注意事項：

基礎粒子群演算法步驟較為簡單。粒子群優化演算法是由一組粒子在搜索空間中運動，受其自身的最佳過去位置pbest和整個群或近鄰的最佳過去位置gbest的影響。

對於有些改進演算法，在速度更新公式最後一項會加入一個隨機項，來平衡收斂速度與避免早熟。並且根據位置更新公式的特點，粒子群演算法更適合求解連續優化問題。

5. 粒子群優化的演算法參數

PSO參數包括：群體規模m，慣性權重w，加速常數c1和c2，最大速度Vmax，最大代數Gmax，解空間[Xmin Xmax]。
Vmax決定在當前位置與最好位置之間的區域的解析度（或精度）。如果Vmax太高，微粒可能會飛過好解，如果Vmax太小，微粒不能進行足夠的探索，導致陷入局部優值。該限制有三個目的：防止計算溢出；實現人工學習和態度轉變；決定問題空間搜索的粒度。
慣性權重w使微粒保持運動的慣性，使其有擴展搜索空間的趨勢，有能力探索新的區域。
加速常數c1和c2代表將每個微粒推向pbest和gbest位置的統計加速項的權重。低的值允許微粒在被拉回來之前可以在目標區域外徘徊，而高的值導致微粒突然的沖向或者越過目標區域。
如果沒有後兩部分，即c1 = c2 = 0，微粒將一直以當前的速度飛行，直到到達邊界。由於它只能搜索有限的區域，將很難找到好的解。
如果沒有第一部分，即w = 0，則速度只取決於微粒當前的位置和它們歷史最好位置pbest和gbest，速度本身沒有記憶性。假設一個微粒位於全局最好位置，它將保持靜止。而其它微粒則飛向它本身最好位置pbest和全局最好位置gbest的加權中心。在這種條件下，微粒群將統計的收縮到當前的全局最好位置，更象一個局部演算法。
在加上第一部分後，微粒有擴展搜索空間的趨勢，即第一部分有全局搜索的能力。這也使得w的作用為針對不同的搜索問題，調整演算法全局和局部搜索能力的平衡。
如果沒有第二部分，即c1 = 0，則微粒沒有認知能力，也就是「只有社會(social-only)」的模型。在微粒的相互作用下，有能力到達新的搜索空間。它的收斂速度比標准版本更快，但是對復雜問題，比標准版本更容易陷入局部優值點。
如果沒有第三部分，即c2 = 0，則微粒之間沒有社會信息共享，也就是「只有認知(cognition-only)」的模型。因為個體間沒有交互，一個規模為m的群體等價於m個單個微粒的運行。因而得到解的幾率非常小。

6. 粒子群優化演算法的參數設置

從上面的例子我們可以看到應用PSO解決優化問題的過程中有兩個重要的步驟: 問題解的編碼和適應度函數PSO的一個優勢就是採用實數編碼, 不需要像遺傳演算法一樣是二進制編碼(或者採用針對實數的遺傳操作.例如對於問題 f(x) = x1^2 + x2^2+x3^2 求解,粒子可以直接編碼為 (x1, x2, x3), 而適應度函數就是f(x). 接著我們就可以利用前面的過程去尋優.這個尋優過程是一個疊代過程, 中止條件一般為設置為達到最大循環數或者最小錯誤
PSO中並沒有許多需要調節的參數,下面列出了這些參數以及經驗設置
粒子數: 一般取 20–40. 其實對於大部分的問題10個粒子已經足夠可以取得好的結果, 不過對於比較難的問題或者特定類別的問題, 粒子數可以取到100 或 200
粒子的長度: 這是由優化問題決定, 就是問題解的長度
粒子的范圍: 由優化問題決定,每一維可是設定不同的范圍
Vmax: 最大速度,決定粒子在一個循環中最大的移動距離,通常設定為粒子的范圍寬度,例如上面的例子里,粒子 (x1, x2, x3) x1 屬於 [-10, 10], 那麼 Vmax 的大小就是 20
學習因子: c1 和 c2 通常等於 2. 不過在文獻中也有其他的取值. 但是一般 c1 等於 c2 並且范圍在0和4之間
中止條件: 最大循環數以及最小錯誤要求. 例如, 在上面的神經網路訓練例子中, 最小錯誤可以設定為1個錯誤分類, 最大循環設定為2000, 這個中止條件由具體的問題確定.
全局PSO和局部PSO: 我們介紹了兩種版本的粒子群優化演算法: 全局版和局部版. 前者速度快不過有時會陷入局部最優. 後者收斂速度慢一點不過很難陷入局部最優. 在實際應用中, 可以先用全局PSO找到大致的結果,再用局部PSO進行搜索.
另外的一個參數是慣性權重, 由Shi 和Eberhart提出, 有興趣的可以參考他們1998年的論文(題目: A modified particle swarm optimizer)。

7. 什麼是粒子群演算法

粒子群演算法，也稱粒子群優化演算法（Partical Swarm Optimization），縮寫為 PSO， 是近年來發展起來的一種新的進化演算法(（Evolu2tionary Algorithm - EA）。PSO 演算法屬於進化演算法的一種，和遺傳演算法相似，它也是從隨機解出發，通過迭代尋找最優解，它也是通過適應度來評價解的品質，但它比遺傳演算法規則更為簡單，它沒有遺傳演算法的「交叉」(Crossover) 和「變異」(Mutation) 操作，它通過追隨當前搜索到的最優值來尋找全局最優。這種演算法以其實現容易、精度高、收斂快等優點引起了學術界的重視，並且在解決實際問題中展示了其優越性。設想這樣一個場景：一群鳥在隨機搜索食物。在這個區域里只有一塊食物。所有的鳥都不知道食物在那裡。但是他們知道當前的位置離食物還有多遠。那麼找到食物的最優策略是什麼呢。最簡單有效的就是搜尋目前離食物最近的鳥的周圍區域。 PSO從這種模型中得到啟示並用於解決優化問題。PSO中，每個優化問題的解都是搜索空間中的一隻鳥。我們稱之為「粒子」。所有的粒子都有一個由被優化的函數決定的適應值(fitness value)，每個粒子還有一個速度決定他們飛翔的方向和距離。然後粒子們就追隨當前的最優粒子在解空間中搜索。 PSO 初始化為一群隨機粒子(隨機解)。然後通過迭代找到最優解。在每一次迭代中，粒子通過跟蹤兩個"極值"來更新自己。第一個就是粒子本身所找到的最優解，這個解叫做個體極值pBest。另一個極值是整個種群目前找到的最優解，這個極值是全局極值gBest。另外也可以不用整個種群而只是用其中一部分作為粒子的鄰居，那麼在所有鄰居中的極值就是局部極值。 粒子公式 在找到這兩個最優值時，粒子根據如下的公式來更新自己的速度和新的位置： v[] = w * v[] + c1 * rand() * (pbest[] - present[]) + c2 * rand() * (gbest[] - present[]) (a) present[] = persent[] + v[] (b) v[] 是粒子的速度, w是慣性權重,persent[] 是當前粒子的位置. pbest[] and gbest[] 如前定義 rand () 是介於（0， 1）之間的隨機數. c1, c2 是學習因子. 通常 c1 = c2 = 2. 程序的偽代碼如下 For each particle ____Initialize particle END Do ____For each particle ________Calculate fitness value ________If the fitness value is better than the best fitness value (pBest) in history ____________set current value as the new pBest ____End ____Choose the particle with the best fitness value of all the particles as the gBest ____For each particle ________Calculate particle velocity according equation (a) ________Update particle position according equation (b) ____End While maximum iterations or minimum error criteria is not attained 在每一維粒子的速度都會被限制在一個最大速度Vmax，如果某一維更新後的速度超過用戶設定的Vmax，那麼這一維的速度就被限定為Vmax

8. 粒子群演算法的優缺點 粒子群優化演算法的優缺點是什麼

優點：搜索速度快、效率高,演算法簡單,適合於實值型處理.
缺點：對於離散的優化問題處理不佳,容易陷入局部最優

9. 如何用粒子群優化（PSO）演算法實現多目標優化

粒子群演算法，也稱粒子群優化演算法（ParticleSwarmOptimization），縮寫為PSO，是近年來發展起來的一種新的進化演算法(EvolutionaryAlgorithm-EA)。PSO演算法屬於進化演算法的一種，和模擬退火演算法相似，它也是從隨機解出發，通過迭代尋找最優解，它也是通過適應度來評價解的品質，但它比遺傳演算法規則更為簡單，它沒有遺傳演算法的「交叉」(Crossover)和「變異」(Mutation)操作，它通過追隨當前搜索到的最優值來尋找全局最優。這種演算法以其實現容易、精度高、收斂快等優點引起了學術界的重視，並且在解決實際問題中展示了其優越性。粒子群演算法是一種並行演算法。

10. 粒子群優化演算法的簡介

PSO初始化為一群隨機粒子(隨機解)，然後通過迭代找到最優解，在每一次疊代中，粒子通過跟蹤兩個「極值」來更新自己。第一個就是粒子本身所找到的最優解，這個解叫做個體極值pBest，另一個極值是整個種群目前找到的最優解，這個極值是全局極值gBest。另外也可以不用整個種群而只是用其中一部分最優粒子的鄰居，那麼在所有鄰居中的極值就是局部極值。