混合粒子群优化算法

1. 粒子群优化算法的算法介绍

在找到这两个最优值时,粒子根据如下的公式来更新自己的速度和新的位置
v[] = v[] + c1 * rand() * (pbest[] - present[]) + c2 * rand() * (gbest[] - present[]) (a)
present[] = present[] + v[] (b)
v[] 是粒子的速度, present[] 是当前粒子的位置. pbest[] and gbest[] 如前定义 rand () 是介于（0， 1）之间的随机数. c1, c2 是学习因子. 通常 c1 = c2 = 2.
程序的伪代码如下
For each particle
____Initialize particle
END
Do
____For each particle
________Calculate fitness value
________If the fitness value is better than the best fitness value (pBest) in history
____________set current value as the new pBest
____End
____Choose the particle with the best fitness value of all the particles as the gBest
____For each particle
________Calculate particle velocity according equation (a)
________Update particle position according equation (b)
____End
While maximum iterations or minimum error criteria is not attained
在每一维粒子的速度都会被限制在一个最大速度Vmax，如果某一维更新后的速度超过用户设定的Vmax，那么这一维的速度就被限定为Vmax。

2. 优化算法笔记（五）粒子群算法（3）

(已合并本篇内容至粒子群算法（1）)

上一节中，我们看到小鸟们聚集到一个较小的范围内后，不会再继续集中。这是怎么回事呢？
猜测：
1.与最大速度限制有关，权重w只是方便动态修改maxV。
2.与C1和C2有关，这两个权重限制了鸟儿的搜索行为。
还是上一节的实验， 。现在我们将maxV的值有5修改为50，即maxV=50，其他参数不变。参数如下

此时得到的最优位值的适应度函数值为0.25571,可以看出与maxV=5相比，结果差了很多而且小鸟们聚集的范围更大了。
现在我们设置maxV=1，再次重复上面的实验，实验结果如下：

这次最终的适应度函数值为，比之前的结果都要好0.00273。从图中我们可以看出，小鸟们在向一个点集中，但是他们飞行的速度比之前慢多了，如果问题更复杂，可能无法等到它们聚集到一个点，迭代就结束了。
为什么maxV会影响鸟群的搜索结果呢？
我们依然以maxV=50为例，不过这次为了看的更加清晰，我们的鸟群只有2只鸟，同时将帧数放慢5倍以便观察。

思路一：限制鸟的最大飞行速率,由于惯性系数W的存在，使得控制最大速率和控制惯性系数的效果是等价的，取其一即可。
方案1：使惯性系数随着迭代次数增加而降低，这里使用的是线性下降的方式，即在第1次迭代，惯性系数W=1,最后一次迭代时，惯性系数W=0，当然，也可以根据自己的意愿取其他值。
实验参数如下：

小鸟们的飞行过程如上图，可以看到效果很好，最后甚至都聚集到了一个点。再看看最终的适应度函数值8.61666413451519E-17，这已经是一个相当精确的值了，说明这是一个可行的方案，但是由于其最后种群过于集中，有陷入局部最优的风险。
方案2：给每只鸟一个随机的惯性系数，那么鸟的飞行轨迹也将不再像之前会出现周期性。每只鸟的惯性系数W为（0,2）中的随机数（保持W的期望为1）。
实验参数如下：

可以看到小鸟们并没有像上一个实验一样聚集于一个点，而是仍在一个较大的范围内进行搜索。其最终的适应度函数为0.01176，比最初的0.25571稍有提升，但并不显着。什么原因造成了这种情况呢？我想可能是由于惯性系数成了期望为1的随机数，那么小鸟的飞行轨迹的期望可能仍然是绕着一个四边形循环，只不过这个四边形相比之前的平行四边形更加复杂，所以其结果也稍有提升，当然对于概率算法，得到这样的结果可能仅仅是因为运气不好
我们看到惯性系数W值减小，小鸟们聚拢到一处的速度明显提升，那么，如果我们去掉惯性系数这个参数会怎么样呢。
方案3：取出惯性系数，即取W=0，小鸟们只向着那两个最优位置飞行。

可以看见鸟群们迅速聚集到了一个点，再看看得到的结果，最终的适应度函数值为2.9086886073362966E-30，明显优于之前的所有操作。
那么问题来了，为什么粒子群算法需要一个惯性速度，它的作用是什么呢？其实很明显，当鸟群迅速集中到了一个点之后它们就丧失了全局的搜索能力，所有的鸟会迅速向着全局最优点飞去，如果当前的全局最优解是一个局部最优点，那么鸟群将会陷入局部最优。所以，惯性系数和惯性速度的作用是给鸟群提供跳出局部最优的可能性，获得这个跳出局部最优能力的代价是它们的收敛速度减慢，且局部的搜索能力较弱（与当前的惯性速度有关）。
为了平衡局部搜索能力和跳出局部最优能力，我们可以人为的干预一下惯性系数W的大小，结合方案1和方案2，我们可以使每只鸟的惯性系数以一个随机周期，周期性下降，若小于0，则重置为初始值。

这样结合了方案1和方案2的惯性系数，也能得到不错的效果，大家可以自己一试。

思路二：改变小鸟们向群体最优飞行和向历史最优飞行的权重。
方案4：让小鸟向全局最优飞行的系数C2线性递减。

小鸟们的飞行过程与之前好像没什么变化，我甚至怀疑我做了假实验。看看最终结果，0.7267249621552874，这是到目前为止的最差结果。看来这不是一个好方案，让全局学习因子C2递减，势必会降低算法的收敛效率，而惯性系数还是那么大，小鸟们依然会围绕历史最优位置打转，毕竟这两个最优位置是有一定关联的。所以让C1线性递减的实验也不必做了，其效果应该与方案4相差不大。
看来只要是惯性系数不变怎么修改C1和C2都不会有太过明显的效果。为什么实验都是参数递减，却没有参数递增的实验呢？
1.惯性系数W必须递减，因为它会影响鸟群的搜索范围。
2.如果C1和C2递增，那么小鸟的惯性速度V势必会跟着递增，这与W递增会产生相同的效果。

上面我们通过一些实验及理论分析了粒子群算法的特点及其参数的作用。粒子群作为优化算法中模型最简单的算法，通过修改这几个简单的参数也能够改变算法的优化性能可以说是一个非常优秀的算法。
上述实验中，我们仅分析了单个参数对算法的影响，实际使用时（创新、发明、写论文时）也会同时动态改变多个参数，甚至是参数之间产生关联。
实验中，为了展现实验效果，maxV取值较大，一般取值为搜索空间范围的10%-20%，按上面（-100,100）的范围maxV应该取值为20-40，在此基础上，方案1、方案2效果应该会更好。
粒子群算法是一种概率算法，所以并不能使用一次实验结果来判断算法的性能，我们需要进行多次实验，然后看看这些实验的效果最终来判断，结果必须使用多次实验的统计数据来说明，一般我们都会重复实验30-50次，为了发论文去做实验的小伙伴们不要偷懒哦。
粒子群算法的学习目前告一段落，如果有什么新的发现，后面继续更新哦！
以下指标纯属个人yy,仅供参考

目录
上一篇 优化算法笔记（四）粒子群算法（2）
下一篇 优化算法笔记（六）遗传算法

3. 粒子群优化算法

         粒子群算法 的思想源于对鸟/鱼群捕食行为的研究，模拟鸟集群飞行觅食的行为，鸟之间通过集体的协作使群体达到最优目的，是一种基于Swarm Intelligence的优化方法。它没有遗传算法的“交叉”(Crossover) 和“变异”(Mutation) 操作，它通过追随当前搜索到的最优值来寻找全局最优。粒子群算法与其他现代优化方法相比的一个明显特色就是所 需要调整的参数很少、简单易行 ，收敛速度快，已成为现代优化方法领域研究的热点。

         设想这样一个场景：一群鸟在随机搜索食物。已知在这块区域里只有一块食物；所有的鸟都不知道食物在哪里；但它们能感受到当前的位置离食物还有多远。那么找到食物的最优策略是什么呢？

        1. 搜寻目前离食物最近的鸟的周围区域

        2. 根据自己飞行的经验判断食物的所在。

        PSO正是从这种模型中得到了启发，PSO的基础是 信息的社会共享

        每个寻优的问题解都被想象成一只鸟，称为“粒子”。所有粒子都在一个D维空间进行搜索。

        所有的粒子都由一个fitness function 确定适应值以判断目前的位置好坏。

        每一个粒子必须赋予记忆功能，能记住所搜寻到的最佳位置。

        每一个粒子还有一个速度以决定飞行的距离和方向。这个速度根据它本身的飞行经验以及同伴的飞行经验进行动态调整。

        粒子速度更新公式包含三部分： 第一部分为“惯性部分”，即对粒子先前速度的记忆；第二部分为“自我认知”部分，可理解为粒子i当前位置与自己最好位置之间的距离；第三部分为“社会经验”部分，表示粒子间的信息共享与合作，可理解为粒子i当前位置与群体最好位置之间的距离。

        第1步   在初始化范围内，对粒子群进行随机初始化，包括随机位置和速度

        第2步   根据fitness function，计算每个粒子的适应值

        第3步   对每个粒子，将其当前适应值与其个体历史最佳位置（pbest）对应的适应值作比较，如果当前的适应值更高，则用当前位置更新粒子个体的历史最优位置pbest

        第4步   对每个粒子，将其当前适应值与全局最佳位置（gbest）对应的适应值作比较，如果当前的适应值更高，则用当前位置更新粒子群体的历史最优位置gbest

        第5步   更新粒子的速度和位置

        第6步   若未达到终止条件，则转第2步

        【通常算法达到最大迭代次数或者最佳适应度值得增量小于某个给定的阈值时算法停止】

粒子群算法流程图如下：

以Ras函数（Rastrigin's Function）为目标函数，求其在x1,x2∈[-5,5]上的最小值。这个函数对模拟退火、进化计算等算法具有很强的欺骗性，因为它有非常多的局部最小值点和局部最大值点，很容易使算法陷入局部最优，而不能得到全局最优解。如下图所示，该函数只在(0,0)处存在全局最小值0。

4. 粒子群算法的优缺点

优点：PSO同遗传算法类似，是一种基于迭代的优化算法。系统初始化为一组随机解，通过迭代搜寻最优值。同遗传算法比较，PSO的优势在于简单容易实现，并且没有许多参数需要调整。

缺点：在某些问题上性能并不是特别好。网络权重的编码而且遗传算子的选择有时比较麻烦。最近已经有一些利用PSO来代替反向传播算法来训练神经网络的论文。

(4)混合粒子群优化算法扩展阅读：

注意事项：

基础粒子群算法步骤较为简单。粒子群优化算法是由一组粒子在搜索空间中运动，受其自身的最佳过去位置pbest和整个群或近邻的最佳过去位置gbest的影响。

对于有些改进算法，在速度更新公式最后一项会加入一个随机项，来平衡收敛速度与避免早熟。并且根据位置更新公式的特点，粒子群算法更适合求解连续优化问题。

5. 粒子群优化的算法参数

PSO参数包括：群体规模m，惯性权重w，加速常数c1和c2，最大速度Vmax，最大代数Gmax，解空间[Xmin Xmax]。
Vmax决定在当前位置与最好位置之间的区域的分辨率（或精度）。如果Vmax太高，微粒可能会飞过好解，如果Vmax太小，微粒不能进行足够的探索，导致陷入局部优值。该限制有三个目的：防止计算溢出；实现人工学习和态度转变；决定问题空间搜索的粒度。
惯性权重w使微粒保持运动的惯性，使其有扩展搜索空间的趋势，有能力探索新的区域。
加速常数c1和c2代表将每个微粒推向pbest和gbest位置的统计加速项的权重。低的值允许微粒在被拉回来之前可以在目标区域外徘徊，而高的值导致微粒突然的冲向或者越过目标区域。
如果没有后两部分，即c1 = c2 = 0，微粒将一直以当前的速度飞行，直到到达边界。由于它只能搜索有限的区域，将很难找到好的解。
如果没有第一部分，即w = 0，则速度只取决于微粒当前的位置和它们历史最好位置pbest和gbest，速度本身没有记忆性。假设一个微粒位于全局最好位置，它将保持静止。而其它微粒则飞向它本身最好位置pbest和全局最好位置gbest的加权中心。在这种条件下，微粒群将统计的收缩到当前的全局最好位置，更象一个局部算法。
在加上第一部分后，微粒有扩展搜索空间的趋势，即第一部分有全局搜索的能力。这也使得w的作用为针对不同的搜索问题，调整算法全局和局部搜索能力的平衡。
如果没有第二部分，即c1 = 0，则微粒没有认知能力，也就是“只有社会(social-only)”的模型。在微粒的相互作用下，有能力到达新的搜索空间。它的收敛速度比标准版本更快，但是对复杂问题，比标准版本更容易陷入局部优值点。
如果没有第三部分，即c2 = 0，则微粒之间没有社会信息共享，也就是“只有认知(cognition-only)”的模型。因为个体间没有交互，一个规模为m的群体等价于m个单个微粒的运行。因而得到解的几率非常小。

6. 粒子群优化算法的参数设置

从上面的例子我们可以看到应用PSO解决优化问题的过程中有两个重要的步骤: 问题解的编码和适应度函数PSO的一个优势就是采用实数编码, 不需要像遗传算法一样是二进制编码(或者采用针对实数的遗传操作.例如对于问题 f(x) = x1^2 + x2^2+x3^2 求解,粒子可以直接编码为 (x1, x2, x3), 而适应度函数就是f(x). 接着我们就可以利用前面的过程去寻优.这个寻优过程是一个叠代过程, 中止条件一般为设置为达到最大循环数或者最小错误
PSO中并没有许多需要调节的参数,下面列出了这些参数以及经验设置
粒子数: 一般取 20–40. 其实对于大部分的问题10个粒子已经足够可以取得好的结果, 不过对于比较难的问题或者特定类别的问题, 粒子数可以取到100 或 200
粒子的长度: 这是由优化问题决定, 就是问题解的长度
粒子的范围: 由优化问题决定,每一维可是设定不同的范围
Vmax: 最大速度,决定粒子在一个循环中最大的移动距离,通常设定为粒子的范围宽度,例如上面的例子里,粒子 (x1, x2, x3) x1 属于 [-10, 10], 那么 Vmax 的大小就是 20
学习因子: c1 和 c2 通常等于 2. 不过在文献中也有其他的取值. 但是一般 c1 等于 c2 并且范围在0和4之间
中止条件: 最大循环数以及最小错误要求. 例如, 在上面的神经网络训练例子中, 最小错误可以设定为1个错误分类, 最大循环设定为2000, 这个中止条件由具体的问题确定.
全局PSO和局部PSO: 我们介绍了两种版本的粒子群优化算法: 全局版和局部版. 前者速度快不过有时会陷入局部最优. 后者收敛速度慢一点不过很难陷入局部最优. 在实际应用中, 可以先用全局PSO找到大致的结果,再用局部PSO进行搜索.
另外的一个参数是惯性权重, 由Shi 和Eberhart提出, 有兴趣的可以参考他们1998年的论文(题目: A modified particle swarm optimizer)。

7. 什么是粒子群算法

粒子群算法，也称粒子群优化算法（Partical Swarm Optimization），缩写为 PSO， 是近年来发展起来的一种新的进化算法(（Evolu2tionary Algorithm - EA）。PSO 算法属于进化算法的一种，和遗传算法相似，它也是从随机解出发，通过迭代寻找最优解，它也是通过适应度来评价解的品质，但它比遗传算法规则更为简单，它没有遗传算法的“交叉”(Crossover) 和“变异”(Mutation) 操作，它通过追随当前搜索到的最优值来寻找全局最优。这种算法以其实现容易、精度高、收敛快等优点引起了学术界的重视，并且在解决实际问题中展示了其优越性。设想这样一个场景：一群鸟在随机搜索食物。在这个区域里只有一块食物。所有的鸟都不知道食物在那里。但是他们知道当前的位置离食物还有多远。那么找到食物的最优策略是什么呢。最简单有效的就是搜寻目前离食物最近的鸟的周围区域。 PSO从这种模型中得到启示并用于解决优化问题。PSO中，每个优化问题的解都是搜索空间中的一只鸟。我们称之为“粒子”。所有的粒子都有一个由被优化的函数决定的适应值(fitness value)，每个粒子还有一个速度决定他们飞翔的方向和距离。然后粒子们就追随当前的最优粒子在解空间中搜索。 PSO 初始化为一群随机粒子(随机解)。然后通过迭代找到最优解。在每一次迭代中，粒子通过跟踪两个"极值"来更新自己。第一个就是粒子本身所找到的最优解，这个解叫做个体极值pBest。另一个极值是整个种群目前找到的最优解，这个极值是全局极值gBest。另外也可以不用整个种群而只是用其中一部分作为粒子的邻居，那么在所有邻居中的极值就是局部极值。 粒子公式 在找到这两个最优值时，粒子根据如下的公式来更新自己的速度和新的位置： v[] = w * v[] + c1 * rand() * (pbest[] - present[]) + c2 * rand() * (gbest[] - present[]) (a) present[] = persent[] + v[] (b) v[] 是粒子的速度, w是惯性权重,persent[] 是当前粒子的位置. pbest[] and gbest[] 如前定义 rand () 是介于（0， 1）之间的随机数. c1, c2 是学习因子. 通常 c1 = c2 = 2. 程序的伪代码如下 For each particle ____Initialize particle END Do ____For each particle ________Calculate fitness value ________If the fitness value is better than the best fitness value (pBest) in history ____________set current value as the new pBest ____End ____Choose the particle with the best fitness value of all the particles as the gBest ____For each particle ________Calculate particle velocity according equation (a) ________Update particle position according equation (b) ____End While maximum iterations or minimum error criteria is not attained 在每一维粒子的速度都会被限制在一个最大速度Vmax，如果某一维更新后的速度超过用户设定的Vmax，那么这一维的速度就被限定为Vmax

8. 粒子群算法的优缺点 粒子群优化算法的优缺点是什么

优点：搜索速度快、效率高,算法简单,适合于实值型处理.
缺点：对于离散的优化问题处理不佳,容易陷入局部最优

9. 如何用粒子群优化（PSO）算法实现多目标优化

粒子群算法，也称粒子群优化算法（ParticleSwarmOptimization），缩写为PSO，是近年来发展起来的一种新的进化算法(EvolutionaryAlgorithm-EA)。PSO算法属于进化算法的一种，和模拟退火算法相似，它也是从随机解出发，通过迭代寻找最优解，它也是通过适应度来评价解的品质，但它比遗传算法规则更为简单，它没有遗传算法的“交叉”(Crossover)和“变异”(Mutation)操作，它通过追随当前搜索到的最优值来寻找全局最优。这种算法以其实现容易、精度高、收敛快等优点引起了学术界的重视，并且在解决实际问题中展示了其优越性。粒子群算法是一种并行算法。

10. 粒子群优化算法的简介

PSO初始化为一群随机粒子(随机解)，然后通过迭代找到最优解，在每一次叠代中，粒子通过跟踪两个“极值”来更新自己。第一个就是粒子本身所找到的最优解，这个解叫做个体极值pBest，另一个极值是整个种群目前找到的最优解，这个极值是全局极值gBest。另外也可以不用整个种群而只是用其中一部分最优粒子的邻居，那么在所有邻居中的极值就是局部极值。