多变量优化算法

6. 优化算法是什么

智能优化算法是一种启发式优化算法，包括遗传算法、蚁群算法、禁忌搜索算法、模拟退火算法、粒子群算法等。·智能优化算法一般是针对具体问题设计相关的算法，理论要求弱，技术性强。一般，我们会把智能算法与最优化算法进行比较，相比之下，智能算法速度快，应用性强。

群体智能优化算法是一类基于概率的随机搜索进化算法，各个算法之间存在结构、研究内容、计算方法等具有较大的相似性。

各个群体智能算法之间最大不同在于算法更新规则上，有基于模拟群居生物运动长更新的（如PSO，AFSA与SFLA），也有根据某种算法机理设置更新规则（如ACO）。

(6)多变量优化算法扩展阅读：

优化算法有很多，关键是针对不同的优化问题，例如可行解变量的取值（连续还是离散）、目标函数和约束条件的复杂程度（线性还是非线性）等，应用不同的算法。 对于连续和线性等较简单的问题，可以选择一些经典算法，例如梯度、Hessian 矩阵、拉格朗日乘数、单纯形法、梯度下降法等；而对于更复杂的问题，则可考虑用一些智能优化算法。

7. 多设计变量优化问题用什么优化算法好（除了遗传算法）

粒子群算法，模拟退火算法都还不错哦

8. 如何用遗传算法实现多变量的最优化问题

是不是像求函数最值那样子？建议你了解一下遗传算法的实数编码，这个对于求函数最值很方便，不用像二进制那样需要转换。

简单介绍一下思路：
最重要的是确定适应度函数，只要确定这个函数就很容易了，就用你不会编程，直接调用matlab的工具箱就行了。

1st.设置种群规模，并初始化种群p，并计算各个个体的适应度。
例如，20个个体，每个个体包含5个变量，x1,x2,x3,x4,x5.
如果你用matlab来编程的话，这个可以很容易实现，会用到random('unif',a,b)这个函数吧。
例如x1的取值范围是[0,1],那么x1=random('unif',0,1).

2nd.采用轮盘赌选出可以产生后代的父本,p_parents。
额，轮盘赌的实质就是适应度大的被选出的概率大。这个不难，但说起来比较长，你可以自己去看一下。

3rd.杂交过程的思路随机将p_parents中的个体随机两两配对，然后随机产生一个1到n的数（n为变量的个数），设为i,交换每对父本中i之后的变量值。交换以后的p_parents成为后代p_offspring.
这里变起来有点点复杂，不过只要耐心一点，编好配对过程和交换过程。

4th.变异过程，这个比较简单，不过需要自己把握的较好。
基本的思路是设置一个概率，例如0.05，然后产生一个随机数如果随机数比0.05小那么这个变量值就要产生微小的增加或减少。
这个变异过程要历遍p_offspring所有的变量喔。

5th.将p和p_offspring合并起来，然后选出适应度大的，重新构成一个如原始种群规模相等的种群。

9. 进化算法的差分算法

差分进化算法(Differential Evolution, DE)是一种新兴的进化计算技术，或称为差分演化算法、微分进化算法、微分演化算法、差异演化算法。它是由Storn等人于1995年提出的，最初的设想是用于解决切比雪夫多项式问题，后来发现DE也是解决复杂优化问题的有效技术。DE与人工生命，特别是进化算法有着极为特殊的联系。
差分进化算法是基于群体智能理论的优化算法，通过群体内个体间的合作与竞争产生的群体智能指导优化搜索。但相比于进化算法，DE保留了基于种群的全局搜索策略，采用实数编码基于差分的简单变异操作和一对一的竞争生存策略，降低了遗传操作的复杂性。同时，DE特有的记忆能力使其可以动态跟踪当前的搜索情况，以调整其搜索策略，具有较强的全局收敛能力和鲁棒性，且不需要借助问题的特征信息，适于求解一些利用常规的数学规划方法所无法求解的复杂环境中的优化问题。
差分进化算法是一种基于群体进化的算法，具有记忆个体最优解和种群内信息共享的特点，即通过种群内个体间的合作与竞争来实现对优化问题的求解，其本质是一种基于实数编码的具有保优思想的贪婪遗传算法。
DE是一种用于优化问题的启发式算法。本质上说，它是一种基于实数编码的具有保优思想的贪婪遗传算法 。同遗传算法一样，DE包含变异和交叉操作，但同时相较于遗传算法的选择操作，DE采用一对一的淘汰机制来更新种群。由于DE在连续域优化问题的优势已获得广泛应用，并引发进化算法研究领域的热潮。
DE由Storn 以及Price提出，算法的原理采用对个体进行方向扰动，以达到对个体的函数值进行下降的目的，同其他进化算法一样，DE不利用目标函数的梯度信息，因此对目标的可导性甚至连续性没有要求，适用性很强。同时，算法与粒子群优化有相通之处 ，但因为DE在一定程度上考虑了多变量间的相关性，因此相较于粒子群优化在变量耦合问题上有很大的优势。算法的实现参考实现代码部分。

10. MATLAB基础问题

命令fminunc().

单独写个.M文件，把约束条件写进去，在约束区有个“Nonlinear constraint function” @+"约束文件名"

例子：
求解如附件图片所示的有约束非线规划问题，分三个步骤
1.建立名为myobjfunc的m文件如下
function RES = myobjfunc(x)

RES=(x(3)*(1/(2*(x(3)^2 + x(5))*(x(4)^2 + x(3) + x(1)*x(2))^(1/2)) ...
- (2*x(3)*(x(4)^2 + x(3) + x(1)*x(2))^(1/2))/(x(3)^2 + x(5))^2))...
/(2*((x(4)^2 + x(3) + x(1)*x(2))^(1/2)/(x(3)^2 + x(5)) + 1)^(1/2)) ...
+ x(4)^2/(2*((x(4)^2 + x(3) + x(1)*x(2))^(1/2)/(x(3)^2 + x(5)) + 1)^(1/2)...
*(x(3)^2 + x(5))*(x(4)^2 + x(3) + x(1)*x(2))^(1/2)) ...
- (x(5)*(x(4)^2 + x(3) + x(1)*x(2))^(1/2))/(2....
*((x(4)^2 + x(3) + x(1)*x(2))^(1/2)/(x(3)^2 + x(5)) + 1)...
^(1/2)*(x(3)^2 + x(5))^2) + (x(1)*x(2))/(2*((x(4)^2 + x(3) + x(1)*x(2))...
^(1/2)/(x(3)^2 + x(5)) + 1)^(1/2)*(x(3)^2 + x(5))...
*(x(4)^2 + x(3) + x(1)*x(2))^(1/2));

2. 建立名为mymodelcons的m文件如下
function [C,CEQ]=mymodelcons(x)
C(1)=x(1)+x(2)^2-10;
C(2)=1-x(1)-x(2)^2;
CEQ=[];

3.在matlab命令窗口中输入以下命令并执行
lb=[0.5 0.5 0.5 1 1];
ub=[5 5 5 3 4];
[X,Y,FLAG]=fmincon(@myobjfunc,[1 1 1 1 1],[],[],[],[],lb,ub,@mymodelcons)

结果为
Active inequalities (to within options.TolCon = 1e-006):
lower upper ineqlin ineqnonlin
5 1 1
4
X = 5.0000 2.2361 1.2359 3.0000 1.0000.

==================================================
在天涯回答上有类似的问题的两个解答供参考
http://wenda.tianya.cn/wenda/thread?tid=29980be1cb2bb991

参考解答一
--------------------------------------------------
fun=@(x)sqrt(x(1)^2+x(2)^2)+sqrt(x(1)^2+(x(2)-52)^2)+sqrt(x(1)^2+(x(2)-139.5)^2)+sqrt(x(1)^2+(x(2)-228)^2)+sqrt(x(1)^2+(x(2)-288)^2)+sqrt((x(1)-65)^2+x(2)^2)+sqrt((x(1)-84)^2+x(2)^2)+sqrt((x(1)-110)^2+(x(2)-288)^2)+sqrt((x(1)-110)^2+(x(2)-217)^2)+sqrt((x(1)-110)^2+(x(2)-93)^2)+sqrt((x(1)-110)^2+x(2)^2)+sqrt((x(1)-65)^2+x(2)^2);
lb=[0;0];
ub=[110;228];
options=optimset('PlotFcns',{@optimplotx,@optimplotfirstorderopt,@optimplotstepsize,@optimplotfval});
[x,fval]=fmincon(fun,rand(2,1),[],[],[],[],lb,ub,[],options)

Optimization terminated: magnitude of directional derivative in search
direction less than 2*options.TolFun and maximum constraint violation
is less than options.TolCon.
No active inequalities.

x =

55.3467
74.3034

fval = 1.3748e+003

参考解答二
-------------------------------------------
（一）非线性一元函数的最小值
Matlab函数为fminbnd()，其使用格式为：
X=fminbnd(fun,x1,x2)
[X,fval,exitflag,output]= fminbnd(fun,x1,x2)

其中：fun为目标函数，x1，x2为变量的边界约束，即x1≤x≤x2，X为返回的满足fun取得最小值的x的值，而fval则为此时的目标函数值。 exitflag>0表示计算收敛，exitflag=0表示超过了最大的迭代次数，exitflag<0表示计算不收敛，返回值 output有3个分量，其中iterations是优化过程中迭代次数，funcCount是代入函数值的次数，algorithm是优化所采用的算法。

例1：求函数 在区间 的最小值和相应的 值。
解决此问题的Matlab程序为：
clear
fun='(x^5+x^3+x^2-1)/(exp(x^2)+sin(-x))'
ezplot(fun,[-2,2])
[X,fval,exitflag,output]= fminbnd(fun,-2,2)
结果为：
X = 0.2176
fval =-1.1312
exitflag = 1
output = iterations: 13
funcCount: 13
algorithm: 'golden section search, parabolic interpolation'

（二）无约束非线性多变量优化问题
这里我们介绍两个命令：fminsearch()和fminunc()，前者适合处理阶次低但是间断点多的函数，后者则对于高阶连续的函数比较有效。
命令fminsearch()的格式为：
X= fminsearch(fun,X0)
[X,fval,exitflag,output]= fminsearch(fun,X0,options)

该命令求解目标函数fun的最小值和相应的x值，X0为x的初始值，fval为返回的函数值，exitflag=1表示优化结果收敛，exitflag=0 表示超过了最大迭代次数。返回值output有3个分量，其中iterations是优化过程中的迭代次数，funcCount是代入函数值的次数，algorithm是优化所采用的算法。options是一个结构，里面有控制优化过程的各种参数，参考optimset()命令来设置，一般情况下我们不必改动它，即使用缺省设置就可以了。

例2：求函数 的最小值以及最小值点。
完成该计算的Matlab程序如下：
clear
fun1='sin(x)+cos(y)'
fun2='sin(x(1))+cos(x(2))'
ezmesh(fun1)
[X,fval]=fminsearch(fun2,[0,0])
X = -1.5708 3.1416
fval = -2.0000

其中语句ezmesh()是为了画出函数的图形，注意这里fun1和fun2的不同，考虑如果用相同的是否可行。

命令fminunc()的格式为：
X=fminunc(fun,X0)
[X,fval,exitflag,output,grad,hessian]=fminunc(fun,X0,options)
命令fminunc()通过计算寻找多变量目标函数fun的最小值，X0为优化的初始值，X为返回的变量的值，grad返回解点的梯度，hessian返回解点的汉森矩阵。其它参数的意义和命令fminsearch()相同。

例3：求函数 的最小值。
解：Matlab程序为
clear
fun='exp(x(1))*(2*x(1)^2+3*x(2)^2+2*x(1)*x(2)+3*x(2)+1)';
x0=[0,0];
options=optimset('largescale','off','display','iter','tolx',1e-8,'tolfun',1e-8);
[x,fval,exitflag,output,grad,hessian]=fminunc(fun,x0,options)

运行结果为：
Iteration
Func-count
f(x)
Step-size
Directional derivative

1
2
1
0.2
-10

2
8
0.369471
0.134277
-0.020 .