蝙蝠算法优化支持向量机

❶ 如何用python实现支持向量机

看这个文章
blog.csdn.net/zouxy09/article/details/17292011
机器学习算法与Python实践之（四）支持向量机（SVM）实现

❷ 支持向量机的相关技术支持

支持向量机是由Vapnik领导的AT&T Bell实验室研究小组在1995年提出的一种新的非常有潜力的分类技术，SVM是一种基于统计学习理论的模式识别方法，主要应用于模式识别领域。由于当时这些研究尚不十分完善，在解决模式识别问题中往往趋于保守，且数学上比较艰涩，这些研究一直没有得到充分的重视。
直到90年代，统计学习理论 (Statistical Learning Theory，SLT)的实现和由于神经网络等较新兴的机器学习方法的研究遇到一些重要的困难，比如如何确定网络结构的问题、过学习与欠学习问题、局部极小点问题等，使得SVM迅速发展和完善，在解决小样本、非线性及高维模式识别问题中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中。从此迅速的发展起来，已经在许多领域(生物信息学，文本和手写识别等)都取得了成功的应用。
在地球物理反演当中解决非线性反演也有显着成效，例如（支持向量机在预测地下水涌水量问题等）。已知该算法被应用的主要有：石油测井中利用测井资料预测地层孔隙度及粘粒含量、天气预报工作等。
支持向量机中的一大亮点是在传统的最优化问题中提出了对偶理论，主要有最大最小对偶及拉格朗日对偶。
SVM的关键在于核函数。低维空间向量集通常难于划分，解决的方法是将它们映射到高维空间。但这个办法带来的困难就是计算复杂度的增加，而核函数正好巧妙地解决了这个问题。也就是说，只要选用适当的核函数，就可以得到高维空间的分类函数。在SVM理论中，采用不同的核函数将导致不同的SVM算法。
在确定了核函数之后，由于确定核函数的已知数据也存在一定的误差，考虑到推广性问题，因此引入了松弛系数以及惩罚系数两个参变量来加以校正。在确定了核函数基础上，再经过大量对比实验等将这两个系数取定，该项研究就基本完成，适合相关学科或业务内应用，且有一定能力的推广性。当然误差是绝对的，不同学科、不同专业的要求不一。
支持向量机的理解需要数据挖掘或机器学习的相关背景知识，在没有背景知识的情况下，可以先将支持向量机看作简单分类工具，再进一步引入核函数进行理解。

❸ 1000个特征7个类别MATLAB中SVM得训练多久

3天
svm模型训练后的参数说明

现简单对屏幕回显信息进⾏说明：

#iter 为迭代次数，

nu 与前⾯的操作参数 -n nu 相同，

obj 为 SVM ⽂件转换为的⼆次规划求解得到的最⼩值，

rho 为判决函数的常数项 b ，

nSV 为⽀持向量个数，

nBSV 为边界上的⽀持向量个数，

Total nSV 为⽀持向量总个数。

训练后的模型保存为⽂件 *.model ，⽤记事本打开其内容如下：

svm_type c_svc % 训练所采⽤的 svm 类型，此处为 C- SVC

kernel_type rbf % 训练采⽤的核函数类型，此处为 RBF 核

gamma 0.0769231 % 设置核函数中的 g ，默认值为 1/ k

nr_class 2 % 分类时的类别数，此处为两分类问题

total_sv 132 % 总共的⽀持向量个数

rho 0.424462 % 决策函数中的常数项 b

label 1 -1% 类别标签

@微生豪资料集合分享
nr_sv 64 68 % 各类别标签对应的⽀持向量个数

SV % 以下为⽀持向量

1 1:0.166667 2:1 3:-0.333333 4:-0.43396

2 5:-0.383562 6:-1 7:-1 8:0.068702

3 9:-1 10:-0.903226 11:-1 12:-1 13:1

0.5104832128985164 1:0.125 2:1 3:0.333333 4:-0.320755 5:-0.406393 6:1 7:1 8:0.0839695 9:1 10:-0.806452 12:-0.333333 13:0.5

1 1:0.333333 2:1 3:-1 4:-0.245283 5:-0.506849 6:-1 7:-1 8:0.129771 9:-1 10:-0.16129 12:0.333333 13:-1

1 1:0.208333 2:1 3:0.333333 4:-0.660377 5:-0.525114 6:-1 7:1 8:0.435115 9:-1 10:-0.193548 12:-0.333333 13:1

4 ）采⽤交叉验证选择最佳参数 C 与 g

通常⽽⾔，⽐较重要的参数是 gamma (-g) 跟 cost (-c) 。⽽ cross validation (-v)

的参数常⽤ 5 。那么如何去选取最优的参数 c 和 g 呢？ libsvm 的 python ⼦⽬录下⾯的 grid.py 可以帮助我们。 此时。其中安

装 python2.5 需要（⼀般默认安装到 c:/python25

下），将 gnuplot 解压。安装解压完毕后，进⼊ /libsvm/tools ⽬录下，⽤⽂本编辑器（记事

本， edit 都可以）修改 grid.py ⽂件，找到其中关于 gnuplot 路径的那项（其默认路径为

gnuplot_exe=r"c:/tmp/gnuplot/bin/pgnuplot.exe" ），根据实际路径进⾏修改，并保存。然

后，将 grid.py 和 C:/Python25 ⽬录下的 python.exe ⽂件拷贝到 libsvm/windows ⽬录下，键⼊以下命令： $ python grid.py

train.1.scale 执⾏后，即可得到最优参数 c 和 g 。

另外，⾄于下 libsvm 和 python 的接⼝的问题，在 libsvm2.86 中林⽼师已经帮助我们解决，在/libsvm/windows/python ⽬录下⾃带了 svmc.pyd 这个⽂件，将该⽂件⽂件复制到

@微生豪资料集合分享
libsvm/python ⽬录下，同时，也将 python.exe ⽂件复制到该⽬录下，键⼊以下命令以检验效

果（注意： .Py ⽂件中关于 gnuplot 路径的那项路径⼀定要根据实际路径修改）：

python svm_test.py

如果能看到程序执⾏结果，说明 libsvm 和 python 之间的接⼝已经配置完成，以后就可以直接在python 程序⾥调⽤ libsvm 的函数了！

5 ） 采⽤最佳参数 C 与 g 对整个训练集进⾏训练获取⽀持向量机模型

$ svmtrain –c x –g x –v x training_set_file [model_file]

x 为上述得到的最优参数 c 和 g 的值， v 的值⼀般取 5 。

6 ）利⽤获取的模型进⾏测试与预测

使⽤ Svmtrain 训练好的模型进⾏测试。输⼊新的 X 值，给出 SVM 预测出的 Y 值

$ Svmpredict test_file model_file output_file

如： ./svm-predict heart_scale heart_scale.model heart_scale.out

Accuracy = 86.6667% (234/270) (classification)

这⾥显⽰的是结果

⼀个具体使⽤的例⼦。

以 libsvm 中的 heart_scale 作为训练数据和测试数据，同时已经将 python 安装⾄ c 盘，并将grid.py ⽂件中关于 gnuplot 路径的默认值修改为实际解压缩后的路径，将

heart_scale 、 grid.py 和 python.exe 拷贝⾄ /libsvm/windows ⽂件夹下。

./svm-train heart_scale

optimization finished, #iter = 162

nu = 0.431029

obj = -100.877288, rho = 0.424462

nSV = 132, nBSV = 107

Total nSV = 132

此时，已经得到 heart_scale.model ，进⾏预测：

./svm-predict heart_scale heart_scale.model heart_scale.out

Accuracy = 86.6667% (234/270) (classification)

正确率为 Accuracy = 86.6667% 。

./python grid.py heart_scale

得到最优参数 c=2048 ， g=0.0001220703125.

./svm-train -c 2048 -g 0.0001220703125 heart_scale 得到 model 后，由 ./svm-predict heart_scale heart_scale.model

heart_scale.out 得到的正确

率为 Accuracy = 85.1852%.这块还有点迷惑？为什么正确率降低了？

当然也可以结合subset.py 和 easy.py 实现⾃动化过程。

@微生豪资料集合分享
如果要训练多次，可以写个批处理程序省好多事。

这⾥举个例⼦：

::@ echo off

cls

:: split the data and output the results

for /L %%i in (1,1,1000) do python subset.py b59.txt 546 b59(%%i).in8 b59(%%i).out2

for /L %%i in (1,1,1000) do python easy.py b59(%%i).in8 b59(%%i).out2 >> result89.txt

这段批处理代码⾸先调⽤subset.py对⽂件b59.txt执⾏1000次分层随机抽样(对数据进⾏80-20%分割)然后调⽤easy.py 进⾏1000次参数寻优，把记录结果写到result89.txt中

（包括1000次训练的分类准确率和参数对）。

还可以调⽤fselect.py进⾏特征选择，调⽤plotroc.py进⾏roc曲线绘制。

先写到这⾥吧，希望能和⼤家⼀起学习libsvm，进⼀步学好svm。

打开APP获取全文

已精选svm模型训练后...会员文档796篇

MATLAB中SVM（支持向量机）的用法
31人阅读

OpencvSVM支持向量机参数与优化：
8人阅读

SVM参数设置及各种参数意义
32人阅读

sklearnsvm调参_SVM调优详解·7125messi的博客

❹ 蝙蝠算法中有历史最优解和全局最优解吗

蝙蝠算法(BA) 是Yang教授于2010年基于群体智能提出的启发式搜索算法,是一种搜索全局最优解的有效方法。该算法是一种基于迭代的优化技术,初始化为一组随机解,然后通过迭代搜寻最优解,且在最优解周围通过随机飞行产生局部新解,加强了局部搜索。与其他算法相比,BA在准确性和有效性方面远优于其他算法,且没有许多参数要进行调整。——定义判断篇。

❺ 大家有关于“优化算法”比如：遗传算法、支持向量机等的好的学习方法吗该一步一步怎么去学

看书，然后找到相关的程序运行一遍，然后看懂程序你就懂了。。大家都是这么学的。

❻ 支持向量机的基本思想是什么

将数据进行分类是机器学习中的一项常见任务。 假设某些给定的数据点各自属于两个类之一，而目标是确定新数据点将在哪个类中。对于支持向量机来说，数据点被视为P维向量，而我们想知道是否可以用(p-1)维超平面来分开这些点。这就是所谓的线性分类器。

可能有许多超平面可以把数据分类。最佳超平面的一个合理选择是以最大间隔把两个类分开的超平面。因此，要选择能够让到每边最近的数据点的距离最大化的超平面。如果存在这样的超平面，则称为最大间隔超平面，而其定义的线性分类器被称为最大间隔分类器，或者叫做最佳稳定性感知器。

除了进行线性分类之外，SVM还可以使用所谓的核技巧有效地进行非线性分类，将其输入隐式映射到高维特征空间中。

当数据未被标记时，不能进行监督式学习，需要用非监督式学习，它会尝试找出数据到簇的自然聚类，并将新数据映射到这些已形成的簇。将支持向量机改进的聚类算法被称为支持向量聚类，当数据未被标记或者仅一些数据被标记时，支持向量聚类经常在工业应用中用作分类步骤的预处理。

应用

1、用于文本和超文本的分类，在归纳和直推方法中都可以显着减少所需要的有类标的样本数。

2、用于图像分类。实验结果显示：在经过三到四轮相关反馈之后，比起传统的查询优化方案，支持向量机能够获取明显更高的搜索准确度。这同样也适用于图像分割系统，比如使用Vapnik所建议的使用特权方法的修改版本SVM的那些图像分割系统。

3、用于手写字体识别。

4、用于医学中分类蛋白质，超过90%的化合物能够被正确分类。基于支持向量机权重的置换测试已被建议作为一种机制，用于解释的支持向量机模型。支持向量机权重也被用来解释过去的SVM模型。

为识别模型用于进行预测的特征而对支持向量机模型做出事后解释是在生物科学中具有特殊意义的相对较新的研究领域。

❼ 机器学习算法中的SVM和聚类算法

相信大家都知道，机器学习中有很多的算法，我们在进行机器学习知识学习的时候一定会遇到过很多的算法，而机器学习中的SVM算法和聚类算法都是比较重要的，我们在这篇文章中就重点给大家介绍一下这两种算法，希望这篇文章能够帮助大家理解这两种算法。

机器学习算法——SVM

提道机器学习算法就不得不说一说SVM，这种算法就是支持向量机，而支持向量机算法是诞生于统计学习界，这也是机器学习中的经典算法，而支持向量机算法从某种意义上来说是逻辑回归算法的强化，这就是通过给予逻辑回归算法更严格的优化条件，支持向量机算法可以获得比逻辑回归更好的分类界线。不过如果通过跟高斯核的结合，支持向量机可以表达出非常复杂的分类界线，从而达成很好的的分类效果。核事实上就是一种特殊的函数，最典型的特征就是可以将低维的空间映射到高维的空间。

于是问题来了，如何在二维平面划分出一个圆形的分类界线？其实我们在二维平面可能会很困难，但是通过核可以将二维空间映射到三维空间，然后使用一个线性平面就可以达成类似效果。也就是说，二维平面划分出的非线性分类界线可以等价于三维平面的线性分类界线。接着，我们可以通过在三维空间中进行简单的线性划分就可以达到在二维平面中的非线性划分效果。而支持向量机是一种数学成分很浓的机器学习算法。在算法的核心步骤中，有一步证明，即将数据从低维映射到高维不会带来最后计算复杂性的提升。于是，通过支持向量机算法，既可以维持计算效率，又可以获得非常好的分类效果。因此支持向量机在90年代后期一直占据着机器学习中最核心的地位，基本取代了神经网络算法。

机器学习算法——聚类算法

说完了SVM，下面我们给大家介绍一下聚类算法，前面的算法中的一个显着特征就是我的训练数据中包含了标签，训练出的模型可以对其他未知数据预测标签。在下面的算法中，训练数据都是不含标签的，而算法的目的则是通过训练，推测出这些数据的标签。这类算法有一个统称，即无监督算法。无监督算法中最典型的代表就是聚类算法。而聚类算法中最典型的代表就是K-Means算法。这一算法被广大朋友所应用。

现在，我们可以清楚认识到机器学习是一个综合性很强的学科。在这篇文章中我们给大家介绍了很多关于机器学习中的支持向量机和聚类算法的相关知识，通过这些知识我们不难发现机器学习中有很多有用的算法，熟练掌握这些算法是我们真正学会机器学习的必经之路。