python粒子群優化演算法

『壹』 粒子群優化演算法的PSO

演化計算可以用來研究神經網路的三個方面：網路連接權重，網路結構(網路拓撲結構，傳遞函數)，網路學習演算法。
不過大多數這方面的工作都集中在網路連接權重，和網路拓撲結構上。在GA中，網路權重和/或拓撲結構一般編碼為染色體(Chromosome)，適應函數(fitness function)的選擇一般根據研究目的確定。例如在分類問題中，錯誤分類的比率可以用來作為適應值。 這里用一個簡單的例子說明PSO訓練神經網路的過程。這個例子使用分類問題的基準函數 (Benchmark function)IRIS數據集。(Iris 是一種鳶尾屬植物) 在數據記錄中，每組數據包含Iris花的四種屬性：萼片長度，萼片寬度，花瓣長度，和花瓣寬度，三種不同的花各有50組數據. 這樣總共有150組數據或模式。
我們用3層的神經網路來做分類。現在有四個輸入和三個輸出。所以神經網路的輸入層有4個節點，輸出層有3個節點我們也可以動態調節隱含層節點的數目，不過這里我們假定隱含層有6個節點。我們也可以訓練神經網路中其他的參數。不過這里我們只是來確定網路權重。粒子就表示神經網路的一組權重，應該是4*6+6*3=42個參數。權重的范圍設定為[-100，100] (這只是一個例子，在實際情況中可能需要試驗調整).在完成編碼以後，我們需要確定適應函數。對於分類問題，我們把所有的數據送入神經網路，網路的權重有粒子的參數決定。然後記錄所有的錯誤分類的數目作為那個粒子的適應值。現在我們就利用PSO來訓練神經網路來獲得盡可能低的錯誤分類數目。PSO本身並沒有很多的參數需要調整。所以在實驗中只需要調整隱含層的節點數目和權重的范圍以取得較好的分類效果。

『貳』 粒子群優化演算法和多模態優化演算法有什麼區別

摘 要：，粒子群演算法據自己的速度來決定搜索過程，只有最優的粒子把信息給予其他的粒子，整個搜索更新過程是跟隨當前最優解的過程，所有的粒子還可以更快的收斂於最優解。由於微粒群演算法簡單，容易實現，與其它求解約束優化問題的方法相比較，具有一定的優勢。實驗結果表明，對於無約束的非線性求解，粒子群演算法表現出較好的收斂性和健壯性。
關鍵詞：粒子群演算法；函數優化；極值尋優
0 引言
非線性方程的求根問題是多年來數學家努力解決的問題之一。長期以來，人們已找出多種用於解決方程求根的方法，例如牛頓法、弦割法、拋物線法等。然而，很多傳統的方法僅能運用於相應的小的問題集，推廣性相對較差。對於一個現實世界中的優化問題，必須嘗試很多不同的方法，甚至要發明相應的新的方法來解決，這顯然是不現實的。我們需要另外的方法來克服這樣的困難。
粒子群演算法是一種現代啟發式演算法，具有推廣性強、魯棒性高等特點[1]。該演算法具有群體智能、內在並行性、迭代格式簡單、可快速收斂到最優解所在區域等優點[2]。本文採用粒子群演算法，對函數的極值進行尋優計算，實現了對函數的極值求解。
1 粒子群演算法
1.1 基本原理
粒子群演算法（PSO）是一種基於群體的隨機優化技術，它的思想來源於對鳥群捕食行為的研究與模擬。粒子群演算法與其它基於群體的進化演算法相類似，選用「群體」和「進化」的概念，按照個體的適應度值進行操作，也是一種基於迭代的尋優技術。區別在於，粒子群演算法中沒有交叉變異等進化運算元，而是將每個個體看作搜索空間中的微粒，每個微粒沒有重量和體積，但都有自己的位置向量、速度向量和適應度值。所有微粒以一定的速度飛行於搜索空間中，其中的飛行速度是由個體飛行經驗和群體的飛行經驗動態調整，通過追蹤當前搜索到的最優值來尋找全局最優值。
1.2 參數選擇
粒子群演算法需要修改的參數很少，但對參數的選擇卻十分敏感。El-Gallad A, El-Hawary M, Sallam A, Kalas A[3]主要對演算法中的種群規模、迭代次數和粒子速度的選擇方法進行了詳細分析，利用統計方法對約束優化問題的求解論證了這 3 個參數對演算法性能的影響，並給出了具有一定通用性的3 個參數選擇原則[4]。
種群規模：通常根據待優化問題的復雜程度確定。
最大速度：決定粒子在一次迭代中的最大移動距離,通常設定為不超過粒子的范圍寬度。
加速常數：加速常數c1和c2通常是由經驗值決定的，它代表粒子向pbest和gbest靠攏的加速項的權重。一般取值為：c1=c2=2。
中止條件：達到最大迭代次數或得到最小誤差要求，通常要由具體問題確定。
慣性權重：慣性權重能夠針對待優化問題調整演算法的局部和全局搜索能力。當該值較大時有利於全局搜索，較小時有利於局部搜索。所以通常在演算法開始時設置較大的慣性權重，以便擴大搜索范圍、加快收斂。而隨著迭代次數的增加逐漸減小慣性權重的值，使其進行精確搜索，避免跳過最優解。
1.3 演算法步驟
PSO演算法步驟如下：
Step1：初始化一個規模為 m 的粒子群，設定初始位置和速度。
初始化過程如下：
（1）設定群體規模m;
（2）對任意的i，s，在[-xmax, xmax]內均勻分布，產生初始位置xis；
（3）對任意的i，s，在[-vmax, vmax]內均勻分布，產生速度vis；
（4）對任意的i，設yi=xi，保存個體。
Step2：計算每個粒子的適應度值。
Step3：對每個粒子的適應度值和得到過的最好位置pis的適應度值進行比較，若相對較好，則將其作為當前的最好位置。
Step4：對每個粒子的適應度值和全局得到過的最好位置pgs的適應度值進行比較，若相對較好，則將其作為當前的全局最好位置。
Step5：分別對粒子的所在位置和速度進行更新。
Step6：如果滿足終止條件，則輸出最優解；否則，返回Step2。
1.4 粒子群演算法函數極值求解
粒子群演算法優化是計算機智能領域，除蟻群演算法外的另一種基於群體智能的優化演算法。粒子群演算法是一種群體智能的煙花計算技術。與遺傳演算法相比，粒子群演算法沒有遺傳演算法的選擇（Selection）、交叉（Crossover）、變異（Mutation）等操作，而是通過粒子在解空間追隨最優的粒子進行搜索。
粒子群演算法流程如圖所示：

粒子群為由n個粒子組成的種群X = (X1,X2,X3,…Xn).
第i個粒子表示一個D維向量Xi = (X1,X2,X3,…XD)T.
第i個粒子的速度為Vi = (Vi1,Vi2,Vi3,…ViD)T.
個體極值為Pi = (Pi1,Pi2,Pi3,…PiD)T.
全局極值為Pg = (Pg1,Pg2,Pg3,…PgD)T.
速度更新為，式中，c1和c2為其兩個學習因子的參數值；r1和r2為其兩個隨機值。
位置更新為.
2 粒子群演算法應用舉例
2.1 實驗問題
這是一個無約束函數的極值尋優，對於Ackley函數，
.
其中c1=20，e=2. 71289。
2.2 實驗步驟
對於Ackley函數圖形，選取一個凹峰進行分析，程序運行結果如圖所示。

圖1 Ackley函數圖形
可以看出，選取區間內的Ackley函數圖形只有一個極小值點。因此，對於該段函數進行尋優，不會陷入局部最小。採用粒子群演算法對該函數進行極值尋優。
首先，進行初始化粒子群，編寫的MATLAB代碼如下：
% 初始化種群
for i=1:sizepop
x1 = popmin1 (popmax1-popmin1)*rand;
% 產生隨機個體
x2 = popmin2 (popmax2-popmin2)*rand;
pop(i,1) = x1; % 保存產生的隨機個體
pop(i,2) = x2;
fitness(i) = fun([x1,x2]); % 適應度值
V(i,1) = 0; % 初始化粒子速度
V(i,2) = 0;
end
程序運行後所產生的個體值為：
表1 函數個體值

然後，根據待尋優的目標函數，計算適應度值。待尋優的目標函數為：
function y = fun(x)
y=-20*exp(-0.2*sqrt((x(1)^2x(2)^2)/2))-exp((cos(2*pi*x(1)) cos(2*pi*x(2)))/2) 20 2.71289;
根據每一組個體，通過目標函數，得到的適應度值為：

表2 函數適應度值

搜索個體最優極值，即搜索最小的適應度值，我們可利用MATLAB繪圖將所有個體的適應度值繪成plot圖查看相對最小值。

圖3 函數適應度plot圖
從圖中可看出，當個體=20時，得到相對最小值，在程序中，將其保存下來。
之後進行迭代尋優，直到滿足終止條件。
最後，得到的最優值為：

圖4 MATLAB運行得到結果
迭代後得到的運行結果圖如下：

圖5 迭代曲線圖
2.3 實驗結果
通過圖5中可看出，該函數的尋優是收斂的，最優個體和實際情況較吻合。因此，採用粒子群演算法進行函數極值尋優，快速、准確且魯棒性較好。
3 結論
本文闡述了粒子群演算法求解最化問題的過程，實驗結果表明了該演算法對於無約束問題的可行性。與其它的進化演算法相比，粒子群演算法容易理解、編碼簡單、容易實現。但是參數的設置對於該演算法的性能卻有很大的影響，例如控制收斂，避免早熟等。在未來的工作中，將努力於將其它計算智能演算法或其它優化技術應用於粒子群演算法中，以進一步提高粒子群演算法的性能。

『叄』 粒子群優化的演算法原理

PSO演算法是基於群體的，根據對環境的適應度將群體中的個體移動到好的區域。然而它不對個體使用演化運算元，而是將每個個體看作是D維搜索空間中的一個沒有體積的微粒（點），在搜索空間中以一定的速度飛行，這個速度根據它本身的飛行經驗和同伴的飛行經驗來動態調整。第i個微粒表示為Xi = (xi1, xi2, …, xiD)，它經歷過的最好位置（有最好的適應值）記為Pi = (pi1, pi2, …, piD)，也稱為pbest。在群體所有微粒經歷過的最好位置的索引號用符號g表示，即Pg，也稱為gbest。微粒i的速度用Vi = (vi1, vi2, …, viD)表示。對每一代，它的第d維(1 ≤ d ≤ D)根據如下方程進行變化：
vid = w∙vid+c1∙rand()∙(pid-xid)+c2∙Rand()∙(pgd-xid) (1a)
xid = xid+vid
其中w為慣性權重(inertia weight)，c1和c2為加速常數(acceleration constants)，rand()和Rand()為兩個在[0,1]范圍里變化的隨機值。
此外，微粒的速度Vi被一個最大速度Vmax所限制。如果當前對微粒的加速導致它的在某維的速度vid超過該維的最大速度vmax,d，則該維的速度被限制為該維最大速度vmax,d。
對公式(1a)，第一部分為微粒先前行為的慣性，第二部分為「認知(cognition)」部分，表示微粒本身的思考；第三部分為「社會(social)」部分，表示微粒間的信息共享與相互合作。
「認知」部分可以由Thorndike的效應法則(law of effect)所解釋，即一個得到加強的隨機行為在將來更有可能出現。這里的行為即「認知」，並假設獲得正確的知識是得到加強的，這樣的一個模型假定微粒被激勵著去減小誤差。
「社會」部分可以由Banra的替代強化(vicarious reinforcement)所解釋。根據該理論的預期，當觀察者觀察到一個模型在加強某一行為時，將增加它實行該行為的幾率。即微粒本身的認知將被其它微粒所模仿。
PSO演算法使用如下心理學假設：在尋求一致的認知過程中，個體往往記住自身的信念，並同時考慮同事們的信念。當其察覺同事的信念較好的時候，將進行適應性地調整。 a). 初始化一群微粒（群體規模為m），包括隨機的位置和速度；
b). 評價每個微粒的適應度；
c). 對每個微粒，將它的適應值和它經歷過的最好位置pbest的作比較，如果較好，則將其作為當前的最好位置pbest；
d). 對每個微粒，將它的適應值和全局所經歷最好位置gbest的作比較，如果較好，則重新設置gbest的索引號；
e). 根據方程(1)變化微粒的速度和位置；
f). 如未達到結束條件（通常為足夠好的適應值或達到一個預設最大代數Gmax），回到b)。

『肆』 關於粒子群演算法的目標函數優化，優化函數如下圖

function main()
clc;clear all;close all;
tic; %程序運行計時
E0=0.001; %允許誤差
MaxNum=100; %粒子最大迭代次數
narvs=1; %目標函數的自變數個數
particlesize=30; %粒子群規模
c1=2; %每個粒子的個體學習因子，也稱為加速常數
c2=2; %每個粒子的社會學習因子，也稱為加速常數
w=0.6; %慣性因子
vmax=0.8; %粒子的最大飛翔速度
x=-5+10*rand(particlesize,narvs); %粒子所在的位置
v=2*rand(particlesize,narvs); %粒子的飛翔速度
%用inline定義適應度函數以便將子函數文件與主程序文件放在一起，
%目標函數是：y=1+(2.1*(1-x+2*x.^2).*exp(-x.^2/2))
%inline命令定義適應度函數如下：
fitness=inline('1/(1+(2.1*(1-x+2*x.^2).*exp(-x.^2/2)))','x');
%inline定義的適應度函數會使程序運行速度大大降低
for i=1:particlesize
for j=1:narvs
f(i)=fitness(x(i,j));
end
end
personalbest_x=x;

『伍』 python有沒有粒子群演算法包

scikit-opt調研過很多粒子群演算法包，這個是比較好用的了

定義你的目標函數

defdemo_func(x):
x1,x2,x3=x
returnx1**2+(x2-0.05)**2+x3**2

調用演算法進行優化求解

pso=PSO(func=demo_func,dim=3)
fitness=pso.fit()

『陸』 粒子群演算法的優缺點

優點：PSO同遺傳演算法類似，是一種基於迭代的優化演算法。系統初始化為一組隨機解，通過迭代搜尋最優值。同遺傳演算法比較，PSO的優勢在於簡單容易實現，並且沒有許多參數需要調整。

缺點：在某些問題上性能並不是特別好。網路權重的編碼而且遺傳運算元的選擇有時比較麻煩。最近已經有一些利用PSO來代替反向傳播演算法來訓練神經網路的論文。

(6)python粒子群優化演算法擴展閱讀：

注意事項：

基礎粒子群演算法步驟較為簡單。粒子群優化演算法是由一組粒子在搜索空間中運動，受其自身的最佳過去位置pbest和整個群或近鄰的最佳過去位置gbest的影響。

對於有些改進演算法，在速度更新公式最後一項會加入一個隨機項，來平衡收斂速度與避免早熟。並且根據位置更新公式的特點，粒子群演算法更適合求解連續優化問題。

『柒』 粒子群優化演算法的參數設置

從上面的例子我們可以看到應用PSO解決優化問題的過程中有兩個重要的步驟: 問題解的編碼和適應度函數PSO的一個優勢就是採用實數編碼, 不需要像遺傳演算法一樣是二進制編碼(或者採用針對實數的遺傳操作.例如對於問題 f(x) = x1^2 + x2^2+x3^2 求解,粒子可以直接編碼為 (x1, x2, x3), 而適應度函數就是f(x). 接著我們就可以利用前面的過程去尋優.這個尋優過程是一個疊代過程, 中止條件一般為設置為達到最大循環數或者最小錯誤
PSO中並沒有許多需要調節的參數,下面列出了這些參數以及經驗設置
粒子數: 一般取 20–40. 其實對於大部分的問題10個粒子已經足夠可以取得好的結果, 不過對於比較難的問題或者特定類別的問題, 粒子數可以取到100 或 200
粒子的長度: 這是由優化問題決定, 就是問題解的長度
粒子的范圍: 由優化問題決定,每一維可是設定不同的范圍
Vmax: 最大速度,決定粒子在一個循環中最大的移動距離,通常設定為粒子的范圍寬度,例如上面的例子里,粒子 (x1, x2, x3) x1 屬於 [-10, 10], 那麼 Vmax 的大小就是 20
學習因子: c1 和 c2 通常等於 2. 不過在文獻中也有其他的取值. 但是一般 c1 等於 c2 並且范圍在0和4之間
中止條件: 最大循環數以及最小錯誤要求. 例如, 在上面的神經網路訓練例子中, 最小錯誤可以設定為1個錯誤分類, 最大循環設定為2000, 這個中止條件由具體的問題確定.
全局PSO和局部PSO: 我們介紹了兩種版本的粒子群優化演算法: 全局版和局部版. 前者速度快不過有時會陷入局部最優. 後者收斂速度慢一點不過很難陷入局部最優. 在實際應用中, 可以先用全局PSO找到大致的結果,再用局部PSO進行搜索.
另外的一個參數是慣性權重, 由Shi 和Eberhart提出, 有興趣的可以參考他們1998年的論文(題目: A modified particle swarm optimizer)。

『捌』 粒子群優化的演算法參數

PSO參數包括：群體規模m，慣性權重w，加速常數c1和c2，最大速度Vmax，最大代數Gmax，解空間[Xmin Xmax]。
Vmax決定在當前位置與最好位置之間的區域的解析度（或精度）。如果Vmax太高，微粒可能會飛過好解，如果Vmax太小，微粒不能進行足夠的探索，導致陷入局部優值。該限制有三個目的：防止計算溢出；實現人工學習和態度轉變；決定問題空間搜索的粒度。
慣性權重w使微粒保持運動的慣性，使其有擴展搜索空間的趨勢，有能力探索新的區域。
加速常數c1和c2代表將每個微粒推向pbest和gbest位置的統計加速項的權重。低的值允許微粒在被拉回來之前可以在目標區域外徘徊，而高的值導致微粒突然的沖向或者越過目標區域。
如果沒有後兩部分，即c1 = c2 = 0，微粒將一直以當前的速度飛行，直到到達邊界。由於它只能搜索有限的區域，將很難找到好的解。
如果沒有第一部分，即w = 0，則速度只取決於微粒當前的位置和它們歷史最好位置pbest和gbest，速度本身沒有記憶性。假設一個微粒位於全局最好位置，它將保持靜止。而其它微粒則飛向它本身最好位置pbest和全局最好位置gbest的加權中心。在這種條件下，微粒群將統計的收縮到當前的全局最好位置，更象一個局部演算法。
在加上第一部分後，微粒有擴展搜索空間的趨勢，即第一部分有全局搜索的能力。這也使得w的作用為針對不同的搜索問題，調整演算法全局和局部搜索能力的平衡。
如果沒有第二部分，即c1 = 0，則微粒沒有認知能力，也就是「只有社會(social-only)」的模型。在微粒的相互作用下，有能力到達新的搜索空間。它的收斂速度比標准版本更快，但是對復雜問題，比標准版本更容易陷入局部優值點。
如果沒有第三部分，即c2 = 0，則微粒之間沒有社會信息共享，也就是「只有認知(cognition-only)」的模型。因為個體間沒有交互，一個規模為m的群體等價於m個單個微粒的運行。因而得到解的幾率非常小。

『玖』 學習多目標優化需要掌握哪些python知識

多目標優化

目標優化問題一般地就是指通過一定的優化演算法獲得目標函數的最優化解。當優化的目標函數為一個時稱之為單目標優化(Single-
objective Optimization Problem,
SOP)。當優化的目標函數有兩個或兩個以上時稱為多目標優化(Multi-objective Optimization Problem,
MOP)。不同於單目標優化的解為有限解，多目標優化的解通常是一組均衡解。

多目標優化演算法歸結起來有傳統優化演算法和智能優化演算法兩大類。
1. 傳統優化演算法包括加權法、約束法和線性規劃法等，實質上就是將多目標函數轉化為單目標函數，通過採用單目標優化的方法達到對多目標函數的求解。
2. 智能優化演算法包括進化演算法（Evolutionary Algorithm, 簡稱EA）、粒子群演算法（Particle Swarm Optimization, PSO）等。

Pareto最優解：

若x*∈C*,且在C中不存在比x更優越的解x，則稱x*是多目標最優化模型式的Pareto最優解，又稱為有效解。
一般來說，多目標優化問題並不存在一個最優解，所有可能的解都稱為非劣解，也稱為Pareto解。傳統優化技術一般每次能得到Pareo解集中的一個，而
用智能演算法來求解，可以得到更多的Pareto解，這些解構成了一個最優解集，稱為Pareto最優解。它是由那些任一個目標函數值的提高都必須以犧牲其
他目標函數值為代價的解組成的集合,稱為Pareto最優域，簡稱Pareto集。

Pareto有效(最優)解非劣解集是指由這樣一些解組成的集合：與集合之外的任何解相比它們至少有一個目標函數比集合之外的解好。

求解多目標優化問題最有名的就是NSGA-II了，是多目標遺傳演算法，但其對解的選擇過程可以用在其他優化演算法上，例如粒子群，蜂群等等。這里簡單介紹一下NSGA-II的選擇演算法。主要包含三個部分：
1. 快速非支配排序
要先講一下支配的概念，對於解X1和X2，如果X1對應的所有目標函數都不比X2大（最小問題），且存在一個目標值比X2小，則X2被X1支配。
快速非支配排序是一個循環分級過程：首先找出群體中的非支配解集，記為第一非支配層，irank=1（irank是個體i的非支配值），將其從群體中除去，繼續尋找群體中的非支配解集，然後irank=2。
2. 個體擁擠距離
為了使計算結果在目標空間比較均勻的分布，維持種群多樣性，對每個個體計算擁擠距離，選擇擁擠距離大的個體，擁擠距離的定義為：
L[i]d=L[i]d+(L[i+1]m−L[i−1]m)/(fmaxm−fminm)
L[i+1]m是第i+1個個體的第m目標函數值，fmaxm 和 fminm是集合中第m個目標函數的最大和最小值。
3. 精英策略選擇
精英策略就是保留父代中的優良個體直接進入子代，防止獲得的Pareto最優解丟失。將第t次產生的子代種群和父代種群合並，然後對合並後的新種群進行非支配排序，然後按照非支配順序添加到規模為N的種群中作為新的父代。