交替极小化算法的优点

‘壹’ BP算法及其改进

传统的BP算法及其改进算法的一个很大缺点是：由于其误差目标函数对于待学习的连接权值来说非凸的，存在局部最小点，对网络进行训练时，这些算法的权值一旦落入权值空间的局部最小点就很难跳出，因而无法达到全局最小点(即最优点)而使得网络训练失败。针对这些缺陷，根据凸函数及其共轭的性质，利用Fenchel不等式，使用约束优化理论中的罚函数方法构造出了带有惩罚项的新误差目标函数。

用新的目标函数对前馈神经网络进行优化训练时，隐层输出也作为被优化变量。这个目标函数的主要特点有：
1.固定隐层输出，该目标函数对连接权值来说是凸的；固定连接权值，对隐层输出来说是凸的。这样在对连接权值和隐层输出进行交替优化时，它们所面对的目标函数都是凸函数，不存在局部最小的问题，算法对于初始权值的敏感性降低；
2.由于惩罚因子是逐渐增大的，使得权值的搜索空间变得比较大，从而对于大规模的网络也能够训练，在一定程度上降低了训练过程陷入局部最小的可能性。

这些特性能够在很大程度上有效地克服以往前馈网络的训练算法易于陷入局部最小而使网络训练失败的重大缺陷，也为利用凸优化理论研究前馈神经网络的学习算法开创了一个新思路。在网络训练时，可以对连接权值和隐层输出进行交替优化。把这种新算法应用到前馈神经网络训练学习中，在学习速度、泛化能力、网络训练成功率等多方面均优于传统训练算法，如经典的BP算法。数值试验也表明了这一新算法的有效性。

本文通过典型的BP算法与新算法的比较，得到了二者之间相互关系的初步结论。从理论上证明了当惩罚因子趋于正无穷大时新算法就是BP算法，并且用数值试验说明了惩罚因子在网络训练算法中的作用和意义。对于三层前馈神经网络来说，惩罚因子较小时，隐层神经元局部梯度的可变范围大，有利于连接权值的更新；惩罚因子较大时，隐层神经元局部梯度的可变范围小，不利于连接权值的更新，但能提高网络训练精度。这说明了在网络训练过程中惩罚因子为何从小到大变化的原因,也说明了新算法的可行性而BP算法则时有无法更新连接权值的重大缺陷。

矿体预测在矿床地质中占有重要地位，由于输入样本量大，用以往前馈网络算法进行矿体预测效果不佳。本文把前馈网络新算法应用到矿体预测中，取得了良好的预期效果。

本文最后指出了新算法的优点，并指出了有待改进的地方。

关键词：前馈神经网络，凸优化理论，训练算法，矿体预测，应用

Feed forward Neural Networks Training Algorithm Based on Convex Optimization and Its Application in Deposit Forcasting
JIA Wen-chen (Computer Application)
Directed by YE Shi-wei

Abstract

The paper studies primarily the application of convex optimization theory and algorithm for feed forward neural networks’ training and convergence performance.

It reviews the history of feed forward neural networks, points out that the training of feed forward neural networks is essentially a non-linear problem and introces BP algorithm, its advantages as well as disadvantages and previous improvements for it. One of the big disadvantages of BP algorithm and its improvement algorithms is: because its error target function is non-convex in the weight values between neurons in different layers and exists local minimum point, thus, if the weight values enter local minimum point in weight values space when network is trained, it is difficult to skip local minimum point and reach the global minimum point (i.e. the most optimal point).If this happening, the training of networks will be unsuccessful. To overcome these essential disadvantages, the paper constructs a new error target function including restriction item according to convex function, Fenchel inequality in the conjugate of convex function and punishment function method in restriction optimization theory.
When feed forward neural networks based on the new target function is being trained, hidden layers’ outputs are seen as optimization variables. The main characteristics of the new target function are as follows:

1.With fixed hidden layers’ outputs, the new target function is convex in connecting weight variables; with fixed connecting weight values, the new target function is convex in hidden layers’ outputs. Thus, when connecting weight values and hidden layers’ outputs are optimized alternately, the new target function is convex in them, doesn’t exist local minimum point, and the algorithm’s sensitiveness is reced for original weight values .
2.Because the punishment factor is increased graally, weight values ’ searching space gets much bigger, so big networks can be trained and the possibility of entering local minimum point can be reced to a certain extent in network training process.

Using these characteristics can overcome efficiently in the former feed forward neural networks’ training algorithms the big disadvantage that networks training enters local minimum point easily. This creats a new idea for feed forward neural networks’ learning algorithms by using convex optimization theory .In networks training, connecting weight variables and hidden layer outputs can be optimized alternately. The new algorithm is much better than traditional algorithms for feed forward neural networks. The numerical experiments show that the new algorithm is successful.

By comparing the new algorithm with the traditional ones, a primary conclusion of their relationship is reached. It is proved theoretically that when the punishment factor nears infinity, the new algorithm is BP algorithm yet. The meaning and function of the punishment factor are also explained by numerical experiments. For three-layer feed forward neural networks, when the punishment factor is smaller, hidden layer outputs’ variable range is bigger and this is in favor to updating of the connecting weights values, when the punishment factor is bigger, hidden layer outputs’ variable range is smaller and this is not in favor to updating of the connecting weights values but it can improve precision of networks. This explains the reason that the punishment factor should be increased graally in networks training process. It also explains feasibility of the new algorithm and BP algorithm’s disadvantage that connecting weigh values can not be updated sometimes.

Deposit forecasting is very important in deposit geology. The previous algorithms’ effect is not good in deposit forecasting because of much more input samples. The paper applies the new algorithm to deposit forecasting and expectant result is reached.
The paper points out the new algorithm’s strongpoint as well as to-be-improved places in the end.

Keywords: feed forward neural networks, convex optimization theory, training algorithm, deposit forecasting, application

传统的BP算法及其改进算法的一个很大缺点是：由于其误差目标函数对于待学习的连接权值来说非凸的，存在局部最小点，对网络进行训练时，这些算法的权值一旦落入权值空间的局部最小点就很难跳出，因而无法达到全局最小点(即最优点)而使得网络训练失败。针对这些缺陷，根据凸函数及其共轭的性质，利用Fenchel不等式，使用约束优化理论中的罚函数方法构造出了带有惩罚项的新误差目标函数。

用新的目标函数对前馈神经网络进行优化训练时，隐层输出也作为被优化变量。这个目标函数的主要特点有：
1.固定隐层输出，该目标函数对连接权值来说是凸的；固定连接权值，对隐层输出来说是凸的。这样在对连接权值和隐层输出进行交替优化时，它们所面对的目标函数都是凸函数，不存在局部最小的问题，算法对于初始权值的敏感性降低；
2.由于惩罚因子是逐渐增大的，使得权值的搜索空间变得比较大，从而对于大规模的网络也能够训练，在一定程度上降低了训练过程陷入局部最小的可能性。

这些特性能够在很大程度上有效地克服以往前馈网络的训练算法易于陷入局部最小而使网络训练失败的重大缺陷，也为利用凸优化理论研究前馈神经网络的学习算法开创了一个新思路。在网络训练时，可以对连接权值和隐层输出进行交替优化。把这种新算法应用到前馈神经网络训练学习中，在学习速度、泛化能力、网络训练成功率等多方面均优于传统训练算法，如经典的BP算法。数值试验也表明了这一新算法的有效性。

本文通过典型的BP算法与新算法的比较，得到了二者之间相互关系的初步结论。从理论上证明了当惩罚因子趋于正无穷大时新算法就是BP算法，并且用数值试验说明了惩罚因子在网络训练算法中的作用和意义。对于三层前馈神经网络来说，惩罚因子较小时，隐层神经元局部梯度的可变范围大，有利于连接权值的更新；惩罚因子较大时，隐层神经元局部梯度的可变范围小，不利于连接权值的更新，但能提高网络训练精度。这说明了在网络训练过程中惩罚因子为何从小到大变化的原因,也说明了新算法的可行性而BP算法则时有无法更新连接权值的重大缺陷。

矿体预测在矿床地质中占有重要地位，由于输入样本量大，用以往前馈网络算法进行矿体预测效果不佳。本文把前馈网络新算法应用到矿体预测中，取得了良好的预期效果。

本文最后指出了新算法的优点，并指出了有待改进的地方。

关键词：前馈神经网络，凸优化理论，训练算法，矿体预测，应用

Feed forward Neural Networks Training Algorithm Based on Convex Optimization and Its Application in Deposit Forcasting
JIA Wen-chen (Computer Application)
Directed by YE Shi-wei

Abstract

The paper studies primarily the application of convex optimization theory and algorithm for feed forward neural networks’ training and convergence performance.

It reviews the history of feed forward neural networks, points out that the training of feed forward neural networks is essentially a non-linear problem and introces BP algorithm, its advantages as well as disadvantages and previous improvements for it. One of the big disadvantages of BP algorithm and its improvement algorithms is: because its error target function is non-convex in the weight values between neurons in different layers and exists local minimum point, thus, if the weight values enter local minimum point in weight values space when network is trained, it is difficult to skip local minimum point and reach the global minimum point (i.e. the most optimal point).If this happening, the training of networks will be unsuccessful. To overcome these essential disadvantages, the paper constructs a new error target function including restriction item according to convex function, Fenchel inequality in the conjugate of convex function and punishment function method in restriction optimization theory.
When feed forward neural networks based on the new target function is being trained, hidden layers’ outputs are seen as optimization variables. The main characteristics of the new target function are as follows:

1.With fixed hidden layers’ outputs, the new target function is convex in connecting weight variables; with fixed connecting weight values, the new target function is convex in hidden layers’ outputs. Thus, when connecting weight values and hidden layers’ outputs are optimized alternately, the new target function is convex in them, doesn’t exist local minimum point, and the algorithm’s sensitiveness is reced for original weight values .
2.Because the punishment factor is increased graally, weight values ’ searching space gets much bigger, so big networks can be trained and the possibility of entering local minimum point can be reced to a certain extent in network training process.

Using these characteristics can overcome efficiently in the former feed forward neural networks’ training algorithms the big disadvantage that networks training enters local minimum point easily. This creats a new idea for feed forward neural networks’ learning algorithms by using convex optimization theory .In networks training, connecting weight variables and hidden layer outputs can be optimized alternately. The new algorithm is much better than traditional algorithms for feed forward neural networks. The numerical experiments show that the new algorithm is successful.

By comparing the new algorithm with the traditional ones, a primary conclusion of their relationship is reached. It is proved theoretically that when the punishment factor nears infinity, the new algorithm is BP algorithm yet. The meaning and function of the punishment factor are also explained by numerical experiments. For three-layer feed forward neural networks, when the punishment factor is smaller, hidden layer outputs’ variable range is bigger and this is in favor to updating of the connecting weights values, when the punishment factor is bigger, hidden layer outputs’ variable range is smaller and this is not in favor to updating of the connecting weights values but it can improve precision of networks. This explains the reason that the punishment factor should be increased graally in networks training process. It also explains feasibility of the new algorithm and BP algorithm’s disadvantage that connecting weigh values can not be updated sometimes.

Deposit forecasting is very important in deposit geology. The previous algorithms’ effect is not good in deposit forecasting because of much more input samples. The paper applies the new algorithm to deposit forecasting and expectant result is reached.
The paper points out the new algorithm’s strongpoint as well as to-be-improved places in the end.

Keywords: feed forward neural networks, convex optimization theory, training algorithm, deposit forecasting, application

BP算法及其改进

2.1 BP算法步骤

1°随机抽取初始权值ω0；

2°输入学习样本对（Xp,Yp），学习速率η，误差水平ε；

3°依次计算各层结点输出opi,opj,opk；

4°修正权值ωk+1=ωk+ηpk,其中pk=,ωk为第k次迭代权变量；

5°若误差E<ε停止，否则转3°。

2.2 最优步长ηk的确定

在上面的算法中，学习速率η实质上是一个沿负梯度方向的步长因子，在每一次迭代中如何确定一个最优步长ηk，使其误差值下降最快，则是典型的一维搜索问题，即E(ωk+ηkpk)=(ωk+ηpk)。令Φ(η)=E(ωk+ηpk)，则Φ′(η)=dE(ωk+ηpk)/dη=E(ωk+ηpk)Tpk。若ηk为(η)的极小值点，则Φ′(ηk)=0，即E(ωk+ηpk)Tpk=-pTk+1pk=0。确定ηk的算法步骤如下

1°给定η0=0,h=0.01,ε0=0.00001；

2°计算Φ′(η0),若Φ′(η0)=0,则令ηk=η0，停止计算；

3°令h=2h, η1=η0+h；

4°计算Φ′(η1)，若Φ′(η1)=0，则令ηk=η1，停止计算；

若Φ′(η1)>0，则令a=η0,b=η1；若Φ′(η1)<0，则令η0=η1，转3°；

5°计算Φ′(a)，若Φ′(a)=0，则ηk=a，停止计算；

6°计算Φ′(b)，若Φ′(b)=0，则ηk=b，停止计算；

7°计算Φ′(a+b/2),若Φ′(a+b/2)=0，则ηk=a+b/2，停止计算；

若Φ′(a+b/2)<0,则令a=a+b/2;若Φ′(a+b/2)>0，则令b=a+b/2

8°若｜a-b｜<ε0，则令，ηk=a+b/2,停止计算，否则转7°。

2.3 改进BP算法的特点分析

在上述改进的BP算法中，对学习速率η的选取不再由用户自己确定，而是在每次迭代过程中让计算机自动寻找最优步长ηk。而确定ηk的算法中，首先给定η0=0，由定义Φ(η)=E(ωk+ηpk)知，Φ′(η)=dE(ωk+ηpk)/dη=E(ωk+ηpk)Tpk，即Φ′(η0)=-pTkpk≤0。若Φ′(η0)=0，则表明此时下降方向pk为零向量，也即已达到局部极值点，否则必有Φ′(η0)<0，而对于一维函数Φ(η)的性质可知，Φ′(η0)<0则在η0=0的局部范围内函数为减函数。故在每一次迭代过程中给η0赋初值0是合理的。

改进后的BP算法与原BP算法相比有两处变化，即步骤2°中不需给定学习速率η的值；另外在每一次修正权值之前，即步骤4°前已计算出最优步长ηk。

‘贰’ 比较算法优缺点：

1.先来先服务先来先服务（FCFS, First Come First Serve）是最简单的调度算法，按先后顺序进行调度。1. 定义按照作业提交或进程变为就绪状态的先后次序，分派CPU；当前作业或进程占用CPU，直到执行完或阻塞，才出让CPU（非抢占方式）。在作业或进程唤醒后（如I/O完成），并不立即恢复执行，通常等到当前作业或进程出让CPU。2.适用场景比较有利于长作业，而不利于短作业。有利于CPU繁忙的作业，而不利于I/O繁忙的作业。
2. 轮转法轮转法(Round Robin)是让每个进程在就绪队列中的等待时间与享受服务的时间成正比例。1. 定义将系统中所有的就绪进程按照FCFS原则，排成一个队列。每次调度时将CPU分派给队首进程，让其执行一个时间片。时间片的长度从几个ms到几百ms。在一个时间片结束时，发生时钟中断。调度程序据此暂停当前进程的执行，将其送到就绪队列的末尾，并通过上下文切换执行当前的队首进程。进程可以未使用完一个时间片，就出让CPU（如阻塞）。2. 时间片长度的确定时间片长度变化的影响过长－>退化为FCFS算法，进程在一个时间片内都执行完，响应时间长。过短－>用户的一次请求需要多个时间片才能处理完，上下文切换次数增加，响应时间长。对响应时间的要求：T(响应时间)=N(进程数目)*q(时间片)就绪进程的数目：数目越多，时间片越小系统的处理能力：应当使用户输入通常在一个时间片内能处理完，否则使响应时间，平均周转时间和平均带权周转时间延长。
3. 多级反馈队列算法多级反馈队列算法(Round Robin with Multiple Feedback)是轮转算法和优先级算法的综合和发展。1. 定义设置多个就绪队列，分别赋予不同的优先级，如逐级降低，队列1的优先级最高。每个队列执行时间片的长度也不同，规定优先级越低则时间片越长，如逐级加倍。新进程进入内存后，先投入队列1的末尾，按FCFS算法调度；若按队列1一个时间片未能执行完，则降低投入到队列2的末尾，同样按FCFS算法调度；如此下去，降低到最后的队列，则按“时间片轮转”算法调度直到完成。仅当较高优先级的队列为空，才调度较低优先级的队列中的进程执行。如果进程执行时有新进程进入较高优先级的队列，则抢先执行新进程，并把被抢先的进程投入原队列的末尾。2.优点为提高系统吞吐量和缩短平均周转时间而照顾短进程。为获得较好的I/O设备利用率和缩短响应时间而照顾I/O型进程。不必估计进程的执行时间，动态调节3. 几点说明I/O型进程：让其进入最高优先级队列，以及时响应I/O交互。通常执行一个小时间片，要求可处理完一次I/O请求的数据，然后转入到阻塞队列。计算型进程：每次都执行完时间片，进入更低级队列。最终采用最大时间片来执行，减少调度次数。I/O次数不多，而主要是CPU处理的进程。在I/O完成后，放回优先I/O请求时离开的队列，以免每次都回到最高优先级队列后再逐次下降。为适应一个进程在不同时间段的运行特点，I/O完成时，提高优先级；时间片用完时，降低优先级。
4. 优先级法优先级算法（Priority Scheling）是多级队列算法的改进，平衡各进程对响应时间的要求。适用于作业调度和进程调度，可分成抢先式和非抢先式。1. 静态优先级作业调度中的静态优先级大多按以下原则确定：由用户自己根据作业的紧急程度输入一个适当的优先级。由系统或操作员根据作业类型指定优先级。系统根据作业要求资源情况确定优先级。进程的静态优先级的确定原则：按进程的类型给予不同的优先级。将作业的情态优先级作为它所属进程的优先级。2. 动态优先级进程的动态优先级一般根据以下原则确定：根据进程占用有CPU时间的长短来决定。根据就绪进程等待CPU的时间长短来决定。
5．短作业优先法短作业优先（SJF, Shortest Job First）又称为“短进程优先”SPN(Shortest Process Next)；这是对FCFS算法的改进，其目标是减少平均周转时间。1. 定义对预计执行时间短的作业（进程）优先分派处理机。通常后来的短作业不抢先正在执行的作业。2. SJF的特点(1) 优点：比FCFS改善平均周转时间和平均带权周转时间，缩短作业的等待时间；提高系统的吞吐量；(2) 缺点：对长作业非常不利，可能长时间得不到执行；未能依据作业的紧迫程度来划分执行的优先级；难以准确估计作业（进程）的执行时间，从而影响调度性能。3. SJF的变型“最短剩余时间优先”SRT(Shortest Remaining Time)（允许比当前进程剩余时间更短的进程来抢占）“最高响应比优先”HRRN(Highest Response Ratio Next)（响应比R = (等待时间 + 要求执行时间) / 要求执行时间，是FCFS和SJF的折衷）6. 最高响应比优先法最高响应比优先法(HRN，Highest Response_ratio Next)是对FCFS方式和SJF方式的一种综合平衡。FCFS方式只考虑每个作业的等待时间而未考虑执行时间的长短，而SJF方式只考虑执行时间而未考虑等待时间的长短。因此，这两种调度算法在某些极端情况下会带来某些不便。HRN调度策略同时考虑每个作业的等待时间长短和估计需要的执行时间长短，从中选出响应比最高的作业投入执行。响应比R定义如下： R =(W+T)/T = 1+W/T其中T为该作业估计需要的执行时间，W为作业在后备状态队列中的等待时间。每当要进行作业调度时，系统计算每个作业的响应比，选择其中R最大者投入执行。这样，即使是长作业，随着它等待时间的增加，W / T也就随着增加，也就有机会获得调度执行。这种算法是介于FCFS和SJF之间的一种折中算法。由于长作业也有机会投入运行，在同一时间内处理的作业数显然要少于SJF法，从而采用HRN方式时其吞吐量将小于采用SJF 法时的吞吐量。另外，由于每次调度前要计算响应比，系统开销也要相应增加。

‘叁’ 小化大是什么

楼主算是问对人啦.我是做计算机博弈游戏开发的.
1、提出这个问题是为了解决象棋,五子棋这样的二人全息零和博弈
二人：游戏是2个人玩的
全息：双方的棋面信息都可以看到.（扑克牌就不同了）
零和：双方的利益和是0.如果你胜利积1分.我就是输-1分.相加就是0
2、极大极小的概念是相对的
我走棋,希望对我的利益帮助是最大的.对你的利益帮主是最小的
3、经典的例子很多.井字棋,五子棋,中国象棋,国际象棋等
象棋为例：
我和楼主对弈,某一步,我有N中走法,期中一种走法x后.我还要评估楼主针对我的X走法的所有应付策略.如果对2个人的局面做一个评判.我肯定希望选择者N种走法中,即时你应对了,对我利益也是最大的那种走法.
4、这个概念我就贴个地址吧.后面的负极大极小算法,alphabeta剪枝算法都很经典的
希望你早日写一个属于你自己的极大较小值算法的游戏
好运!

‘肆’ 极大极小值算法有什么优缺点

Minimax算法常用于棋类等由两方较量的游戏和程序。该算法是一个零总和算法，即一方要在可选的选项中选择将其优势最大化的选择，另一方则选择令对手优势最小化的一个，其输赢的总和为0（有点像能量守恒，就像本身两个玩家都有1点，最后输家要将他的1点给赢家，但整体上还是总共有2点）。很多棋类游戏可以采取此算法，例如tic-tac-toe。

‘伍’ 最小二乘法、回归分析法、灰色预测法、决策论、神经网络等5个算法的使用范围及优缺点是什么

最小二乘法：通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。优点：实现简单，计算简单。缺点：不能拟合非线性数据.
回归分析法：指的是确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。在大数据分析中，回归分析是一种预测性的建模技术，它研究的是因变量（目标）和自变量（预测器）之间的关系。这种技术通常用于预测分析，时间序列模型以及发现变量之间的因果关系。优点：在分析多因素模型时，更加简单和方便，不仅可以预测并求出函数，还可以自己对结果进行残差的检验，检验模型的精度。缺点：回归方程式只是一种推测，这影响了因子的多样性和某些因子的不可测性，使得回归分析在某些情况下受到限制。
灰色预测法：
色预测法是一种对含有不确定因素的系统进行预测的方法 。它通过鉴别系统因素之间发展趋势的相异程度，即进行关联分析，并对原始数据进行生成处理来寻找系统变动的规律，生成有较强规律性的数据序列，然后建立相应的微分方程模型，从而预测事物未来发展趋势的状况。它用等时间距离观测到的反应预测对象特征的一系列数量值构造灰色预测模型，预测未来某一时刻的特征量，或者达到某一特征量的时间。优点：对于不确定因素的复杂系统预测效果较好，且所需样本数据较小。缺点：基于指数率的预测没有考虑系统的随机性，中长期预测精度较差。
决策树：在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干，故称决策树。在机器学习中，决策树是一个预测模型，他代表的是对象属性与对象值之间的一种映射关系。优点：能够处理不相关的特征；在相对短的时间内能够对大型数据源做出可行且效果良好的分析；计算简单，易于理解，可解释性强；比较适合处理有缺失属性的样本。缺点：忽略了数据之间的相关性；容易发生过拟合（随机森林可以很大程度上减少过拟合）；在决策树当中,对于各类别样本数量不一致的数据，信息增益的结果偏向于那些具有更多数值的特征。
神经网络：优点：分类的准确度高；并行分布处理能力强,分布存储及学习能力强，对噪声神经有较强的鲁棒性和容错能力，能充分逼近复杂的非线性关系；具备联想记忆的功能。缺点：神经网络需要大量的参数，如网络拓扑结构、权值和阈值的初始值；不能观察之间的学习过程，输出结果难以解释，会影响到结果的可信度和可接受程度；学习时间过长,甚至可能达不到学习的目的。

‘陆’ 数据挖掘十大经典算法及各自优势

数据挖掘十大经典算法及各自优势

不仅仅是选中的十大算法，其实参加评选的18种算法，实际上随便拿出一种来都可以称得上是经典算法，它们在数据挖掘领域都产生了极为深远的影响。
1. C4.5
C4.5算法是机器学习算法中的一种分类决策树算法,其核心算法是ID3算法. C4.5算法继承了ID3算法的优点，并在以下几方面对ID3算法进行了改进：
1) 用信息增益率来选择属性，克服了用信息增益选择属性时偏向选择取值多的属性的不足；2) 在树构造过程中进行剪枝；3) 能够完成对连续属性的离散化处理；4) 能够对不完整数据进行处理。
C4.5算法有如下优点：产生的分类规则易于理解，准确率较高。其缺点是：在构造树的过程中，需要对数据集进行多次的顺序扫描和排序，因而导致算法的低效。
2. The k-means algorithm 即K-Means算法
k-means algorithm算法是一个聚类算法，把n的对象根据他们的属性分为k个分割，k < n。它与处理混合正态分布的最大期望算法很相似，因为他们都试图找到数据中自然聚类的中心。它假设对象属性来自于空间向量，并且目标是使各个群组内部的均 方误差总和最小。
3. Support vector machines
支持向量机，英文为Support Vector Machine，简称SV机（论文中一般简称SVM）。它是一种监督式学习的方法，它广泛的应用于统计分类以及回归分析中。支持向量机将向量映射到一个更 高维的空间里，在这个空间里建立有一个最大间隔超平面。在分开数据的超平面的两边建有两个互相平行的超平面。分隔超平面使两个平行超平面的距离最大化。假 定平行超平面间的距离或差距越大，分类器的总误差越小。一个极好的指南是C.J.C Burges的《模式识别支持向量机指南》。van der Walt 和 Barnard 将支持向量机和其他分类器进行了比较。
4. The Apriori algorithm
Apriori算法是一种最有影响的挖掘布尔关联规则频繁项集的算法。其核心是基于两阶段频集思想的递推算法。该关联规则在分类上属于单维、单层、布尔关联规则。在这里，所有支持度大于最小支持度的项集称为频繁项集，简称频集。
5. 最大期望(EM)算法
在统计计算中，最大期望（EM，Expectation–Maximization）算法是在概率（probabilistic）模型中寻找参数最大似然 估计的算法，其中概率模型依赖于无法观测的隐藏变量（Latent Variabl）。最大期望经常用在机器学习和计算机视觉的数据集聚（Data Clustering）领域。
6. PageRank
PageRank是Google算法的重要内容。2001年9月被授予美国专利，专利人是Google创始人之一拉里·佩奇（Larry Page）。因此，PageRank里的page不是指网页，而是指佩奇，即这个等级方法是以佩奇来命名的。
PageRank根据网站的外部链接和内部链接的数量和质量俩衡量网站的价值。PageRank背后的概念是，每个到页面的链接都是对该页面的一次投票， 被链接的越多，就意味着被其他网站投票越多。这个就是所谓的“链接流行度”——衡量多少人愿意将他们的网站和你的网站挂钩。PageRank这个概念引自 学术中一篇论文的被引述的频度——即被别人引述的次数越多，一般判断这篇论文的权威性就越高。
7. AdaBoost
Adaboost是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器(弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器 (强分类器)。其算法本身是通过改变数据分布来实现的，它根据每次训练集之中每个样本的分类是否正确，以及上次的总体分类的准确率，来确定每个样本的权 值。将修改过权值的新数据集送给下层分类器进行训练，最后将每次训练得到的分类器最后融合起来，作为最后的决策分类器。
8. kNN: k-nearest neighbor classification
K最近邻(k-Nearest Neighbor，KNN)分类算法，是一个理论上比较成熟的方法，也是最简单的机器学习算法之一。该方法的思路是：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。
9. Naive Bayes
在众多的分类模型中，应用最为广泛的两种分类模型是决策树模型(Decision Tree Model)和朴素贝叶斯模型（Naive Bayesian Model，NBC）。 朴素贝叶斯模型发源于古典数学理论，有着坚实的数学基础，以 及稳定的分类效率。同时，NBC模型所需估计的参数很少，对缺失数据不太敏感，算法也比较简单。理论上，NBC模型与其他分类方法相比具有最小的误差率。 但是实际上并非总是如此，这是因为NBC模型假设属性之间相互独立，这个假设在实际应用中往往是不成立的，这给NBC模型的正确分类带来了一定影响。在属 性个数比较多或者属性之间相关性较大时，NBC模型的分类效率比不上决策树模型。而在属性相关性较小时，NBC模型的性能最为良好。10. CART: 分类与回归树
CART, Classification and Regression Trees。 在分类树下面有两个关键的思想。第一个是关于递归地划分自变量空间的想法；第二个想法是用验证数据进行剪枝。

以上是小编为大家分享的关于数据挖掘十大经典算法及各自优势的相关内容，更多信息可以关注环球青藤分享更多干货

‘柒’ 什么是极小化极大算法

楼主算是问对人啦。我是做计算机博弈游戏开发的。

1、提出这个问题是为了解决象棋，五子棋这样的二人全息零和博弈
二人：游戏是2个人玩的
全息：双方的棋面信息都可以看到。（扑克牌就不同了）
零和：双方的利益和是0.如果你胜利积1分。我就是输-1分。相加就是0
2、极大极小的概念是相对的
我走棋，希望对我的利益帮助是最大的。对你的利益帮主是最小的
3、经典的例子很多。井字棋，五子棋，中国象棋，国际象棋等
象棋为例：
我和楼主对弈，某一步，我有N中走法，期中一种走法x后。我还要评估楼主针对我的X走法的所有应付策略。如果对2个人的局面做一个评判。我肯定希望选择者N种走法中，即时你应对了，对我利益也是最大的那种走法。
4、这个概念我就贴个地址吧。后面的负极大极小算法，alphabeta剪枝算法都很经典的
希望你早日写一个属于你自己的极大较小值算法的游戏
http://www.xqbase.com/computer.htm【一定要通读10遍以上】
好运！

‘捌’ 极大极小算法有些不明白

先来说极小极大算法主要应用于什么样的游戏：
1. 零和游戏（Zero-sum Game）：意思就是你死我活，一方的胜利代表另一方的失败，比如，象棋，五子棋等。
2. 完全信息（Perfect Information）：玩家知道之前所有的步骤。象棋就是完全信息，因为玩家是交替着落子，且之前的步骤都能在棋盘上体现，但是石头剪子布就不是。
这样的游戏通常可以把他们看作一个树状图，把每一种可能性列出来。比如下面这个井字棋游戏，Max代表你自己，Min代表你的对手。
这个时候我们需要给每一种结果一个分数，就是这里的Utility。这个分数是站在我自己（也就是Max）的角度评估的，比如上图中我赢了就是＋1，输了是－1，平局时0。所以，我希望最大化这个分数，而我的对手希望最小化这个分数。（在游戏中，这个分数被称为static value。）这里要说一下，井字棋是个比较简单的游戏，所以可以列出所有可能的结果。但是，大部分游戏是不太可能把所有结果都列出来的。根据计算机运算量，我们可能只能往前推7，8步，所以这个时候分数就不只－1，1，0这么简单了，会有专门的算法来根据当前结果给不同的分数。
假设我们有如下图的游戏，我是先手，我应该如何利用Minmax算法来选出第一步怎么走呢？
当然对于一个复杂的游戏来说，比如象棋，肯定是需要非常多步才能完成的。这就导致结果的数量是成几何增长的，也就是说，如果这个游戏每一步都有n个选择，那么在x步以后，将会有n^x个选择。这个时候，我们就需要采取剪枝算法（Alpha-Beta）来减少运算量。从剪枝算法这个名字我们就能看出，这个算法能让我们剪掉树状图中的一些分支，从而减少运算量。在这里也说一下剪枝算法，因为这并不是个不同于极小极大的算法，而是极小极大算法的升级版。
我们将游戏简化成如下图，使用Minimax算法，我们可以得出这样的结果