全局搜索算法

❶ 粒子群算法为什么具有全局搜索能力

粒子群算法中每个粒子都记忆自己的最好位置，即从进化开始到现在这个粒子能使目标函数达到最大或是最小的那个时刻粒子的位置。个体极值就是粒子在最好位置所得到的目标函数的值。全局极值就是在所有粒子的个体极值中最大或是最小的那个值，与只对应的就是全局最优粒子的位置。对有约束的优化函数，一般是将约束条件加入到目标函数中，然后计算总体的值，以此来作为评价标准。
粒子群算法，也称粒子群优化算法（Particle Swarm Optimization），缩写为 PSO， 是近年来发展起来的一种新的进化算法(Evolutionary Algorithm - EA)。PSO 算法属于进化算法的一种，和模拟退火算法相似，它也是从随机解出发，通过迭代寻找最优解，它也是通过适应度来评价解的品质，但它比遗传算法规则更为简单，它没有遗传算法的“交叉”(Crossover) 和“变异”(Mutation) 操作，它通过追随当前搜索到的最优值来寻找全局最优。这种算法以其实现容易、精度高、收敛快等优点引起了学术界的重视，并且在解决实际问题中展示了其优越性。粒子群算法是一种并行算法。

❷ 什么是局部搜索算法

局部搜索算法是从爬山法改进而来的。
简单来说，局部搜索算法是一种简单的贪心搜索算法，该算法每次从当前解的临近解空间中选择一个最优解作为当前解，直到达到一个局部最优解。
在计算机科学中，局部搜索是解决最优化问题的一种元启发式算法。局部搜索从一个初始解出发，然后搜索解的邻域，如有更优的解则移动至该解并继续执行搜索，否则返回当前解。
1、局部搜索算法的基本思想：
在搜索过程中，始终选择当前点的邻居中与离目标最近者的方向搜索。
2、局部搜索的优点：
简单、灵活及易于实现，缺点是容易陷入局部最优且解的质量与初始解和邻域的结构密切相关。常见的改进方法有模拟退火、禁忌搜索等。
3、局部搜索广泛应用：
计算机科学（主要是人工智能）、数学、运筹学、工程学、生物信息学中各种很难找到全局最优解的计算问题。

❸ 启发式搜索全局择优搜索和局部择优搜索的区别是什么

根据问题的实际情况不断寻找可利用的知识，从而构造成一条代价较少的推理路线，使问题得到圆满解决的过程称为搜索。

寻找问题的解的一种可靠的方法是首先列出所有候选解，然后依次检查每一个解，即可以找到所需要的问题的答案。这是一种“万能”的方法，理论上，当候选解的数量可以穷尽并且通过检查所有或部分候选解能够得到所需解时，问题就能得到解决。

但是，在实际应用中，因为候选解的数量通常都非常大（比如指数级），并且计算机的速度和内存都有限制，因此对问题不加分析的穷尽算法通常只能解决规模很小的问题。

在实际运用中常采用回溯和分枝定界法对问题进行求解。按照这两种方法对候选解进行系统检查通常会使问题的求解时间大大减少（无论对于最坏情形还是对于一般情形）。这二种方法由于都是按规定的路线进行，基本没有使用与问题有关的启发性信息，属于盲目搜索策略。在涉及人工职能的有些问题如博弈问题时，还会用到启发是搜索策略，如A*算法等。

一、回溯法和分枝限界法

问题的表示

状态空间表示法是表示问题及其搜索过程的一种形式表示方法。可以用解空间树来表示问题的结构。 对于一棵树，树中的每一个结点确定所求问题的一个问题状态，由根结点到其它结点的所有路径确定了这个问题的状态空间。解状态是一些问题状态S，对于这些问题状态，由根到S的那条路径确定了这解空间的一个元组。答案状态则是由解状态到根的路径。

对于一种状态空间树，可以先系统地生成问题的状态，接着确定问题状态的解状态，最后确定那些解状态是答案状态从而将这些问题解出。

从根结点开始解问题，如果已经生成一个结点而它的所有儿子结点还没有全部生成，则这个结点叫做活结点。当前正在生成其儿子的活结点叫E结点，不再进一步扩展或者其儿子结点已经全部生成的生成结点就是死结点。

回溯算法使用深度优先方法搜索树结构，而分枝定界一般用宽度优先方法来搜索这些树。

回溯方法的步骤如下：

1) 定义一个解空间，它包含问题的解。

2) 用适于搜索的方式组织该空间。

3) 用深度优先法搜索该空间，利用限界函数避免移动到不可能产生解的子空间。

回溯算法的特性是在搜索执行的同时产生解空间。在搜索期间的任何时刻，仅保留从开始节点到当前E -节点的路径。因此，回溯算法的空间需求为O（从开始节点起最长路径的长度）。

分枝限界法的步骤和回溯的唯一区别是采用了宽度优先的方法来搜索树，因此分枝法消耗的空间比回溯法要多。

这二种搜索策略从本质上来讲都是属于穷尽法的搜索，由于在搜索路径上的不同也造成这二种方法各自都有其优缺点、适用的求解问题也就不同。

宽度优先占有优势的问题：

九宫重排问题

九宫重排问题是一个可以回溯法和分枝法都能解决的问题。但是，对于这个问题运用分枝法是有利的。

九宫重排问题，在3*3的方格棋盘上放置标由数字1、2、3、4、5、6、7、8共8个棋子，初始状态为S 0 ，目标状态为Sg ，当找到一个解时结束搜索。

从根结点到叶子结点的路径即为解，算法为空格左移，空格上移，空格右移，空格下移。

S0

Sg

2
8
3

1
2
3

1

4

8

4

7
6
5

7
6
5

用宽度优先搜索，如下图：

f'(x) = g(x) + h(x)

2 8 3

14

7 6 5

2 8 3

1 4

7 6 5

23

1 8 4

7 6 5

3 8 2

1 6 4

75

3 8 2

1 4

7 6 5

8 3

2 1 4

7 6 5

3 8 2

14

7 6 5

82

2 1 4

7 6 5

2 3 4

1 8

7 6 5

1 2 3

8 4

7 6 5

2 3

1 8 4

7 6 5

2 3

1 8 4

7 6 5

2 8 3

1 6 4

7 5

2 8 3

1 6 4

7 5

3 8 2

14

7 6 5

2 8 3

1 6

7 5 4

2 8 3

6 4

1 7 5

2 8 3

1 4 5

76

28

1 4 3

7 6 5

2 8 3

1 4 5

7 6

28

1 4 3

7 6 5

2 8 3

7 1 4

6 5

2 8 3

74

6 1 5

8 1 3

24

7 6 5

8 3 2

2 1 4

7 6 5

1 2 3

84

7 6 5

16

26

9

8

7

6

2

1

S0

4

3

5

Sg

图示解的路径是 S0-3-8-16-26(Sg)

宽度优先搜索的盲目性较大，当目标结点距离初始结点较远时将会产生许多无用结点，空间浪费较大，搜索效率低，但是只要问题有解，用宽度优先搜索总可以得到解，而且得到的路径最短的解。

用深度优先策略搜索，如下图：

2 8 3

14

7 6 5

2 8 3

1 4

7 6 5

23

1 8 4

7 6 5

3 8 2

1 6 4

7 5

3 8 2

1 4

7 6 5

2 8 3

1 6 4

7 5

2 8 3

1 6 4

7 5

2 8 3

1 6

7 5 4

1

S0

2

2 8

1 6 3

7 5 4

2 8 1 6 3

7 5 4

2 8

1 6 3

7 5 4

3

4

5

6

在深度优先搜索中，搜索一旦进入某个分枝，就将沿着该分枝一直向下搜索，如果该节点恰好在此分支上，则可较快地得到解。但是，如果目标节电不在此分支上，而该分支又是一个无穷分支，则就不可能得到解。

显然该问题用宽度优先搜索的策略是较好的。

经典的N皇后问题

N皇后问题要求求出N个皇后在棋盘上的所有摆法，（该问题很多书籍上都有详细介绍，这儿图表省略），该问题是适合用回溯法来描述和解决的问题，通过深度优先搜索至多需要检索N!个元组，而如果用分枝法，因为要生成所有问题的解，则必须储存检索过程中的E结点，造成储存空间的极度膨胀，这类问题明显是用回溯法占优势的。

回溯法和分枝法是基本的搜索策略，大多数情况下如果找不到更好的解决方案，总是可以用这二种方法尝试。

但是它们有一个很大的缺陷就是都是在一个给定的状态空间中穷举。这在状态空间不大的情况下是很合适的算法，可是当状态空间十分大，且不预测的情况下就不可取了。它的效率实在太低，甚至不可完成。



二、启发式搜索算法
通常在搜索中能直接运用回溯、分枝法的问题并不多，回溯和分枝的过程中，施加一定的条件，对搜索过程中出现的结点进行判断，可以提高效率。

启发式搜索就是在状态空间中的搜索对每一个搜索的位置进行评估，得到最好的位置，再从这个位置进行搜索直到目标。这样可以省略大量无畏的搜索路径，提到了效率。在启发式搜索中，对位置的估价是关键。采用了不同的估价可以有不同的效果。

启发式搜索有很多的算法，如：局部择优搜索法、最好优先搜索法等等。A*也是。这些算法都使用了启发函数，但在具体的选取最佳搜索节点时的策略不同。

局部择优搜索法，就是在搜索的过程中选取“最佳节点”后舍弃其他的兄弟节点，父亲节点，而一直得搜索下去。这种搜索的结果很明显，由于舍弃了其他的节点，可能也把最好的节点都舍弃了，因为求解的最佳节点只是在该阶段的最佳并不一定是全局的最佳。

局部择优搜索法它是对深度优先搜索方法的一种改进。

全局择优搜索是 局部择优搜索的一种改进，试图克服局部择优搜索的的局限性。再搜索时，每次总是从全体的活结点中选取一个估价值最小的节点，

在搜索过程中，启发式搜索的关键是要确定下一个要考察的节点，用于估价节点重要性的函数称为估价函数

f'(x) = g(x) + h(x)

其中g(x)为从初始节点So到节点X已经实际付出的代价；h(x)是从节点X到节点Sg的最优路径的估计代价。h(x)称为启发函数。

九宫重排

当用全局择优搜索求解该问题时，可以设估价函数为 f'(x) = d(x) + h(x)

d(x)表示节点x的深度，h(x)表示节点x的棋局与目标节点棋局位置不相同的棋子数。

2 8 3

14

7 6 5

2 8 3

1 4

7 6 5

23

1 8 4

7 6 5

3 8 2

1 6 4

75

3 8 2

1 4

7 6 5

8 3

2 1 4

7 6 5

3 8 2

14

7 6 5

1 2 3

8 4

7 6 5

2 3

1 8 4

7 6 5

2 3

1 8 4

7 6 5

1 2 3

84

7 6 5

4

6

4

6

6

4

1

S0

4

4

5

Sg

1 2 3

7 8 4

6 5

5

5

S3

S2

S1

图中节点旁标明的数字是该节点的估价函数值。

该问题的解路径为： So-S1-S2-S3-Sg

以上论述一些树型问题基本的搜索的策略，当问题的状态空间是有向图时，节点的重复将导致大量冗余的搜索，甚至时搜索过程陷入无效的循环而无法找到解，这时就需要对估价函数进行限制，A*算法就是针对图的有序搜索的算法。



问题的求解可以有很多方法，而如何建立数学模型，选择问题的求解方式是十分重要的，方法的好坏是面向一个具体的问题的，需要具体问题具体分析

❹ 什么搜索算法是全局优化的呀，不要局部的

梯度下降或者牛顿法？要是能够确定函数式凸函数这样似乎可以解决。要是不行的话，就只能用一些启发性的搜索算法了

❺ 混合遗传算法和遗传算法有什么区别

遗传算法是一种全局搜索算法，不需要目标函数的导数信息，它能够很快搜索到最优值所处范围范围。
而混合遗传算法是在遗传算法的基础上引入其它优化算法（如局部寻优能力强的算法），以保证遗传算法全局性能的基础上大大减小计算量，提高收敛速度。一般引入的算法有：传统梯度类算法、单纯形法及模拟退火等等）这些算法都很容易与遗传算法兼容。

❻ 智能算法的算法分类

模拟退火算法的依据是固体物质退火过程和组合优化问题之间的相似性。物质在加热的时候，粒子间的布朗运动增强，到达一定强度后，固体物质转化为液态，这个时候再进行退火，粒子热运动减弱，并逐渐趋于有序，最后达到稳定。
模拟退火的解不再像局部搜索那样最后的结果依赖初始点。它引入了一个接受概率p。如果新的点（设为pn）的目标函数f（pn）更好，则p=1，表示选取新点；否则，接受概率p是当前点（设为pc）的目标函数f（pc），新点的目标函数f（pn）以及另一个控制参数“温度”T的函数。也就是说，模拟退火没有像局部搜索那样每次都贪婪地寻找比现在好的点，目标函数差一点的点也有可能接受进来。随着算法的执行，系统温度T逐渐降低，最后终止于某个低温，在该温度下，系统不再接受变化。
模拟退火的典型特征是除了接受目标函数的改进外，还接受一个衰减极限，当T较大时，接受较大的衰减，当T逐渐变小时，接受较小的衰减，当T为0时，就不再接受衰减。这一特征意味着模拟退火与局部搜索相反，它能避开局部极小，并且还保持了局部搜索的通用性和简单性。
在物理上，先加热，让分子间互相碰撞，变成无序状态，内能加大，然后降温，最后的分子次序反而会更有序，内能比没有加热前更小。就像那只兔子，它喝醉后，对比较近的山峰视而不见，迷迷糊糊地跳一大圈子，反而更有可能找到珠峰。
值得注意的是，当T为0时，模拟退火就成为局部搜索的一个特例。
模拟退火的伪码表达：
procere simulated annealing
begin
t:=0;
initialize temperature T
select a current string vc at random;
evaluate vc;
repeat
repeat
select a new string vn in the neighborhood of vc; (1)
if f(vc)<f(vn)
then vc:=vn;
else if random [0,1] <exp ((f (vn)-f (vc))/T) (2)
then vc:=vn;
until (termination-condition) (3)
T:=g(T,t); (4)
T:=t+1;
until (stop-criterion) (5)
end;
上面的程序中，关键的是(1)新状态产生函数，(2)新状态接受函数，(3)抽样稳定准则，(4)退温函数，(5)退火结束准则（简称三函数两准则）是直接影响优化结果的主要环节。虽然实验结果证明初始值对于最后的结果没有影响，但是初温越高，得到高质量解的概率越大。所以，应该尽量选取比较高的初温。
上面关键环节的选取策略：
（1）状态产生函数：候选解由当前解的邻域函数决定，可以取互换，插入，逆序等操作产生，然后根据概率分布方式选取新的解，概率可以取均匀分布、正态分布、高斯分布、柯西分布等。
（2）状态接受函数：这个环节最关键，但是，实验表明，何种接受函数对于最后结果影响不大。所以，一般选取min [1, exp ((f (vn)-f (vc))/T)]。
（3）抽样稳定准则：一般常用的有：检验目标函数的均值是否稳定；连续若干步的目标值变化较小；规定一定的步数；
（4）退温函数：如果要求温度必须按照一定的比率下降，SA算法可以采用，但是温度下降很慢；快速SA中，一般采用 。目前，经常用的是 ，是一个不断变化的值。
（5）退火结束准则：一般有：设置终止温度；设置迭代次数；搜索到的最优值连续多次保持不变；检验系统熵是否稳定。
为了保证有比较优的解，算法往往采取慢降温、多抽样、以及把“终止温度”设的比较低等方式，导致算法运行时间比较长，这也是模拟退火的最大缺点。人喝醉了酒办起事来都不利索，何况兔子？ “物竞天择，适者生存”，是进化论的基本思想。遗传算法就是模拟自然界想做的事。遗传算法可以很好地用于优化问题，若把它看作对自然过程高度理想化的模拟，更能显出它本身的优雅——虽然生存竞争是残酷的。
遗传算法以一种群体中的所有个体为对象，并利用随机化技术指导对一个被编码的参数空间进行高效搜索。其中，选择、交叉和变异构成了遗传算法的遗传操作；参数编码、初始群体的设定、适应度函数的设计、遗传操作设计、控制参数设定五个要素组成了遗传算法的核心内容。作为一种新的全局优化搜索算法，遗传算法以其简单通用、健壮性强、适于并行处理以及高效、实用等显着特点，在各个领域得到了广泛应用，取得了良好效果，并逐渐成为重要的智能算法之一。
遗传算法的伪码：
procere genetic algorithm
begin
initialize a group and evaluate the fitness value ; （1）
while not convergent （2）
begin
select; （3）
if random[0,1]<pc then
crossover; （4）
if random (0,1)<pm then
mutation; （5）
end;
end
上述程序中有五个重要的环节：
（1）编码和初始群体的生成：GA在进行搜索之前先将解空间的解数据表示成遗传空间的基因型串结构数据，这些串结构数据的不同组合便构成了不同的点。然后随机产生N个初始串结构数据，每个串结构数据称为一个个体， N个体构成了一个群体。GA以这N个串结构数据作为初始点开始迭代。
比如，旅行商问题中，可以把商人走过的路径进行编码，也可以对整个图矩阵进行编码。编码方式依赖于问题怎样描述比较好解决。初始群体也应该选取适当，如果选取的过小则杂交优势不明显，算法性能很差（数量上占了优势的老鼠进化能力比老虎强），群体选取太大则计算量太大。
（2）检查算法收敛准则是否满足，控制算法是否结束。可以采用判断与最优解的适配度或者定一个迭代次数来达到。
（3）适应性值评估检测和选择：适应性函数表明个体或解的优劣性，在程序的开始也应该评价适应性，以便和以后的做比较。不同的问题，适应性函数的定义方式也不同。根据适应性的好坏，进行选择。选择的目的是为了从当前群体中选出优良的个体，使它们有机会作为父代为下一代繁殖子孙。遗传算法通过选择过程体现这一思想，进行选择的原则是适应性强的个体为下一代贡献一个或多个后代的概率大。选择实现了达尔文的适者生存原则。
（4）杂交：按照杂交概率（pc）进行杂交。杂交操作是遗传算法中最主要的遗传操作。通过杂交操作可以得到新一代个体，新个体组合了其父辈个体的特性。杂交体现了信息交换的思想。
可以选定一个点对染色体串进行互换，插入，逆序等杂交，也可以随机选取几个点杂交。杂交概率如果太大，种群更新快，但是高适应性的个体很容易被淹没，概率小了搜索会停滞。
（5）变异：按照变异概率（pm）进行变异。变异首先在群体中随机选择一个个体，对于选中的个体以一定的概率随机地改变串结构数据中某个串的值。同生物界一样，GA中变异发生的概率很低。变异为新个体的产生提供了机会。
变异可以防止有效基因的缺损造成的进化停滞。比较低的变异概率就已经可以让基因不断变更，太大了会陷入随机搜索。想一下，生物界每一代都和上一代差距很大，会是怎样的可怕情形。
就像自然界的变异适和任何物种一样，对变量进行了编码的遗传算法没有考虑函数本身是否可导，是否连续等性质，所以适用性很强；并且，它开始就对一个种群进行操作，隐含了并行性，也容易找到“全局最优解”。 为了找到“全局最优解”，就不应该执着于某一个特定的区域。局部搜索的缺点就是太贪婪地对某一个局部区域以及其邻域搜索，导致一叶障目，不见泰山。禁忌搜索就是对于找到的一部分局部最优解，有意识地避开它（但不是完全隔绝），从而获得更多的搜索区间。兔子们找到了泰山，它们之中的一只就会留守在这里，其他的再去别的地方寻找。就这样，一大圈后，把找到的几个山峰一比较，珠穆朗玛峰脱颖而出。
当兔子们再寻找的时候，一般地会有意识地避开泰山，因为他们知道，这里已经找过，并且有一只兔子在那里看着了。这就是禁忌搜索中“禁忌表（tabu list）”的含义。那只留在泰山的兔子一般不会就安家在那里了，它会在一定时间后重新回到找最高峰的大军，因为这个时候已经有了许多新的消息，泰山毕竟也有一个不错的高度，需要重新考虑，这个归队时间，在禁忌搜索里面叫做“禁忌长度（tabu length）”；如果在搜索的过程中，留守泰山的兔子还没有归队，但是找到的地方全是华北平原等比较低的地方，兔子们就不得不再次考虑选中泰山，也就是说，当一个有兔子留守的地方优越性太突出，超过了“best to far”的状态，就可以不顾及有没有兔子留守，都把这个地方考虑进来，这就叫“特赦准则（aspiration criterion）”。这三个概念是禁忌搜索和一般搜索准则最不同的地方，算法的优化也关键在这里。
伪码表达：
procere tabu search;
begin
initialize a string vc at random,clear up the tabu list;
cur:=vc;
repeat
select a new string vn in the neighborhood of vc;
if va>best_to_far then {va is a string in the tabu list}
begin
cur:=va;
let va take place of the oldest string in the tabu list;
best_to_far:=va;
end else
begin
cur:=vn;
let vn take place of the oldest string in the tabu list;
end;
until (termination-condition);
end;
以上程序中有关键的几点：
（1）禁忌对象：可以选取当前的值（cur）作为禁忌对象放进tabu list，也可以把和当然值在同一“等高线”上的都放进tabu list。
（2）为了降低计算量，禁忌长度和禁忌表的集合不宜太大，但是禁忌长度太小容易循环搜索，禁忌表太小容易陷入“局部极优解”。
（3）上述程序段中对best_to_far的操作是直接赋值为最优的“解禁候选解”，但是有时候会出现没有大于best_to_far的，候选解也全部被禁的“死锁”状态，这个时候，就应该对候选解中最佳的进行解禁，以能够继续下去。
（4）终止准则：和模拟退火，遗传算法差不多，常用的有：给定一个迭代步数；设定与估计的最优解的距离小于某个范围时，就终止搜索；当与最优解的距离连续若干步保持不变时，终止搜索；
禁忌搜索是对人类思维过程本身的一种模拟，它通过对一些局部最优解的禁忌（也可以说是记忆）达到接纳一部分较差解，从而跳出局部搜索的目的。 人工神经网络（Artificial Neural Network，ANN）
神经网络从名字就知道是对人脑的模拟。它的神经元结构，它的构成与作用方式都是在模仿人脑，但是也仅仅是粗糙的模仿，远没有达到完美的地步。和冯·诺依曼机不同，神经网络计算非数字，非精确，高度并行，并且有自学习功能。
生命科学中，神经细胞一般称作神经元，它是整个神经结构的最基本单位。每个神经细胞就像一条胳膊，其中像手掌的地方含有细胞核，称作细胞体，像手指的称作树突，是信息的输入通路，像手臂的称作轴突，是信息的输出通路；神经元之间错综复杂地连在一起，互相之间传递信号，而传递的信号可以导致神经元电位的变化，一旦电位高出一定值，就会引起神经元的激发，此神经元就会通过轴突传出电信号。
而如果要用计算机模仿生物神经，就需要人工的神经网络有三个要素：（1）形式定义人工神经元；（2）给出人工神经元的连接方式，或者说给出网络结构；（3）给出人工神经元之间信号强度的定义。
历史上第一个人工神经网络模型称作M－P模型，非常简单：
其中，表示神经元i在t时刻的状态，为1表示激发态，为0表示抑制态；是神经元i和j之间的连接强度；表示神经元i的阈值，超过这个值神经元才能激发。
这个模型是最简单的神经元模型。但是功能已经非常强大：此模型的发明人McCulloch和Pitts已经证明，不考虑速度和实现的复杂性，它可以完成当前数字计算机的任何工作。
以上这个M－P模型仅仅是一层的网络，如果从对一个平面进行分割的方面来考虑的话，M－P网络只能把一个平面分成个半平面，却不能够选取特定的一部分。而解决的办法就是“多层前向网路”。
为了让这种网络有合适的权值，必须给网络一定的激励，让它自己学习，调整。一种方法称作“向后传播算法（Back Propagation，BP）”，其基本思想是考察最后输出解和理想解的差异，调整权值，并把这种调整从输出层开始向后推演，经过中间层，达到输入层。
可见，神经网络是通过学习来达到解决问题的目的，学习没有改变单个神经元的结构和工作方式，单个神经元的特性和要解决的问题之间也没有直接联系，这里学习的作用是根据神经元之间激励与抑制的关系，改变它们的作用强度。学习样本中的任何样品的信息都包含在网络的每个权值之中。
BP算法中有考察输出解和理想解差异的过程，假设差距为w，则调整权值的目的就是为了使得w最小化。这就又包含了前文所说的“最小值”问题。一般的BP算法采用的是局部搜索，比如最速下降法，牛顿法等，当然如果想要得到全局最优解，可以采用模拟退火，遗传算法等。当前向网络采用模拟退火算法作为学习方法的时候，一般成为“波尔兹曼网络”，属于随机性神经网络。
在学习BP算法学习的过程中，需要已经有一部分确定的值作为理想输出，这就好像中学生在学习的时候，有老师的监督。如果没有了监督，人工神经网络该怎么学习？
就像没有了宏观调控，自由的市场引入了竞争一样，有一种学习方法称作“无监督有竞争的学习”。在输入神经元i的若干个神经元之间开展竞争，竞争之后，只有一个神经元为1，其他均为0，而对于失败的神经元，调整使得向对竞争有利的方向移动，则最终也可能在一次竞争中胜利；
人工神经网络还有反馈网络如Hopfield网络，它的神经元的信号传递方向是双向的，并且引入一个能量函数，通过神经元之间不断地相互影响，能量函数值不断下降，最后能给出一个能量比较低的解。这个思想和模拟退火差不多。
人工神经网络应用到算法上时，其正确率和速度与软件的实现联系不大，关键的是它自身的不断学习。这种思想已经和冯·诺依曼模型很不一样。 粒子群优化算法(PSO)是一种进化计算技术(evolutionary computation)，1995 年由Eberhart 博士和kennedy 博士提出，源于对鸟群捕食的行为研究 。该算法最初是受到飞鸟集群活动的规律性启发，进而利用群体智能建立的一个简化模型。粒子群算法在对动物集群活动行为观察基础上，利用群体中的个体对信息的共享使整个群体的运动在问题求解空间中产生从无序到有序的演化过程，从而获得最优解。
PSO同遗传算法类似，是一种基于迭代的优化算法。系统初始化为一组随机解，通过迭代搜寻最优值。但是它没有遗传算法用的交叉(crossover)以及变异(mutation)，而是粒子在解空间追随最优的粒子进行搜索。同遗传算法比较，PSO的优势在于简单容易实现并且没有许多参数需要调整。目前已广泛应用于函数优化，神经网络训练，模糊系统控制以及其他遗传算法的应用领域。
PSO模拟鸟群的捕食行为。设想这样一个场景：一群鸟在随机搜索食物。在这个区域里只有一块食物。所有的鸟都不知道食物在那里。但是他们知道当前的位置离食物还有多远。那么找到食物的最优策略是什么呢。最简单有效的就是搜寻目前离食物最近的鸟的周围区域。
PSO从这种模型中得到启示并用于解决优化问题。PSO中，每个优化问题的解都是搜索空间中的一只鸟。我们称之为“粒子”。所有的粒子都有一个由被优化的函数决定的适应值(fitness value)，每个粒子还有一个速度决定他们飞翔的方向和距离。然后粒子们就追随当前的最优粒子在解空间中搜索。
PSO 初始化为一群随机粒子(随机解)。然后通过迭代找到最优解。在每一次迭代中，粒子通过跟踪两个极值来更新自己。第一个就是粒子本身所找到的最优解，这个解叫做个体极值pBest。另一个极值是整个种群目前找到的最优解，这个极值是全局极值gBest。另外也可以不用整个种群而只是用其中一部分作为粒子的邻居，那么在所有邻居中的极值就是局部极值。 模拟退火，遗传算法，禁忌搜索，神经网络在解决全局最优解的问题上有着独到的优点，并且，它们有一个共同的特点：都是模拟了自然过程。模拟退火思路源于物理学中固体物质的退火过程，遗传算法借鉴了自然界优胜劣汰的进化思想，禁忌搜索模拟了人类有记忆过程的智力过程，神经网络更是直接模拟了人脑。
它们之间的联系也非常紧密，比如模拟退火和遗传算法为神经网络提供更优良的学习算法提供了思路。把它们有机地综合在一起，取长补短，性能将更加优良。
这几种智能算法有别于一般的按照图灵机进行精确计算的程序，尤其是人工神经网络，是对计算机模型的一种新的诠释，跳出了冯·诺依曼机的圈子，按照这种思想来设计的计算机有着广阔的发展前景

❼ 怎么指导遗传算法全局搜索性

这是一个非常简单的遗传算法源代码，是由Denis Cormier (North Carolina State University)开发的，Sita S.Raghavan (University of North Carolina at Charlotte)修正。代码保证尽可能少，实际上也不必查错。对一特定的应用修正此代码，用户只需改变常数的定义并且定义“评价函数”即可。注意代码的设计是求最大值，其中的目标函数只能取正值；且函数值和个体的适应值之间没有区别。该系统使用比率选择、精华模型、单点杂交和均匀变异。如果用Gaussian变异替换均匀变异，可能得到更好的效果。代码没有任何图形，甚至也没有屏幕输出，主要是保证在平台之间的高可移植性。读者可以从ftp.uncc.e,目录 coe/evol中的文件prog.c中获得。要求输入的文件应该命名为‘gadata.txt’；系统产生的输出文件为‘galog.txt’。输入的文件由几行组成：数目对应于变量数。且每一行提供次序——对应于变量的上下界。如第一行为第一个变量提供上下界，第二行为第二个变量提供上下界，等等。#include <stdio.h>
#include <stdlib.h>
#include <math.h>/* Change any of these parameters to match your needs */#define POPSIZE 50 /* population size */
#define MAXGENS 1000 /* max. number of generations */
#define NVARS 3 /* no. of problem variables */
#define PXOVER 0.8 /* probability of crossover */
#define PMUTATION 0.15 /* probability of mutation */
#define TRUE 1
#define FALSE 0int generation; /* current generation no. */
int cur_best; /* best indivial */
FILE *galog; /* an output file */struct genotype /* genotype (GT), a member of the population */
{
double gene[NVARS]; /* a string of variables */
double fitness; /* GT's fitness */
double upper[NVARS]; /* GT's variables upper bound */
double lower[NVARS]; /* GT's variables lower bound */
double rfitness; /* relative fitness */
double cfitness; /* cumulative fitness */
};struct genotype population[POPSIZE+1]; /* population */
struct genotype newpopulation[POPSIZE+1]; /* new population; */
/* replaces the */
/* old generation *//* Declaration of proceres used by this genetic algorithm */void initialize(void);
double randval(double, double);
void evaluate(void);
void keep_the_best(void);
void elitist(void);
void select(void);
void crossover(void);
void Xover(int,int);
void swap(double *, double *);
void mutate(void);
void report(void);/***************************************************************/
/* Initialization function: Initializes the values of genes */
/* within the variables bounds. It also initializes (to zero) */
/* all fitness values for each member of the population. It */
/* reads upper and lower bounds of each variable from the */
/* input file `gadata.txt'. It randomly generates values */
/* between these bounds for each gene of each genotype in the */
/* population. The format of the input file `gadata.txt' is */
/* var1_lower_bound var1_upper bound */
/* var2_lower_bound var2_upper bound ... */
/***************************************************************/void initialize(void)
{
FILE *infile;
int i, j;
double lbound, ubound;if ((infile = fopen("gadata.txt","r"))==NULL)
{
fprintf(galog,"\nCannot open input file!\n");
exit(1);
}/* initialize variables within the bounds */for (i = 0; i < NVARS; i++)
{
fscanf(infile, "%lf",&lbound);
fscanf(infile, "%lf",&ubound); for (j = 0; j < POPSIZE; j++)
{
population[j].fitness = 0;
population[j].rfitness = 0;
population[j].cfitness = 0;
population[j].lower[i] = lbound;
population[j].upper[i]= ubound;
population[j].gene[i] = randval(population[j].lower[i],
population[j].upper[i]);
}
}fclose(infile);
}/***********************************************************/
/* Random value generator: Generates a value within bounds */
/***********************************************************/double randval(double low, double high)
{
double val;
val = ((double)(rand()%1000)/1000.0)*(high - low) + low;
return(val);
}/*************************************************************/
/* Evaluation function: This takes a user defined function. */
/* Each time this is changed, the code has to be recompiled. */
/* The current function is: x[1]^2-x[1]*x[2]+x[3] */
/*************************************************************/void evaluate(void)
{
int mem;
int i;
double x[NVARS+1];for (mem = 0; mem < POPSIZE; mem++)
{
for (i = 0; i < NVARS; i++)
x[i+1] = population[mem].gene[i];

population[mem].fitness = (x[1]*x[1]) - (x[1]*x[2]) + x[3];
}
}/***************************************************************/
/* Keep_the_best function: This function keeps track of the */
/* best member of the population. Note that the last entry in */
/* the array Population holds a of the best indivial */
/***************************************************************/void keep_the_best()
{
int mem;
int i;
cur_best = 0; /* stores the index of the best indivial */for (mem = 0; mem < POPSIZE; mem++)
{
if (population[mem].fitness > population[POPSIZE].fitness)
{
cur_best = mem;
population[POPSIZE].fitness = population[mem].fitness;
}
}
/* once the best member in the population is found, the genes */
for (i = 0; i < NVARS; i++)
population[POPSIZE].gene[i] = population[cur_best].gene[i];
}

❽ 全局择优搜索算法得到的解是最优解么

不一定的，那还得看你的启发函数是否设置得合理