单样本学习算法

⑴ BP学习算法是什么类型的学习算法它主要有哪些不足

BP算法是由学习过程由信号的正向传播与误差的反向传播两个过程组成。由于多层前馈网络的训练经常采用误差反向传播算法，人们也常把将多层前馈网络直接称为BP网络。

虽然BP算法得到广泛的应用，但它也存在不足，其主要表现在训练过程不确定上，具体如下。

1，训练时间较长。对于某些特殊的问题，运行时间可能需要几个小时甚至更长，这主要是因为学习率太小所致，可以采用自适应的学习率加以改进。

2，完全不能训练。训练时由于权值调整过大使激活函数达到饱和，从而使网络权值的调节几乎停滞。为避免这种情况，一是选取较小的初始权值，二是采用较小的学习率。

3，易陷入局部极小值。BP算法可以使网络权值收敛到一个最终解，但它并不能保证所求为误差超平面的全局最优解，也可能是一个局部极小值。

这主要是因为BP算法所采用的是梯度下降法，训练是从某一起始点开始沿误差函数的斜面逐渐达到误差的最小值，故不同的起始点可能导致不同的极小值产生，即得到不同的最优解。如果训练结果未达到预定精度，常常采用多层网络和较多的神经元，以使训练结果的精度进一步提高，但与此同时也增加了网络的复杂性与训练时间。

4，“喜新厌旧”。训练过程中，学习新样本时有遗忘旧样本的趋势。

(1)单样本学习算法扩展阅读：

BP算法最早由Werbos于1974年提出，1985年Rumelhart等人发展了该理论。BP网络采用有指导的学习方式，其学习包括以下4个过程。

1，组成输入模式由输入层经过隐含层向输出层的“模式顺传播”过程。

2，网络的期望输出与实际输出之差的误差信号由输出层经过隐含层逐层休整连接权的“误差逆传播”过程。

3，由“模式顺传播”与“误差逆传播”的反复进行的网络“记忆训练”过程。

4，网络趋向收敛即网络的总体误差趋向极小值的“学习收敛”过程。

⑵ 机器学习算法有哪些，最常用是哪些几种，有什么优点

楼主肯定对机器学习了解不多才会提这种问题。这问题专业程度看起来和“机器学习工程师”这词汇一样。
机器学习，基础的PCA模型理论，贝叶斯，boost,Adaboost,
模式识别中的各种特征，诸如Hog，Haar,SIFT等
深度学习里的DBN，CNN，BP，RBM等等。
非专业出身，只是略懂一点。

没有常用的，只是针对需求有具体的设计，或者需要自己全新设计一个合适的算法，现在最热门的算是CNN(convolutional neural networks)卷积神经网络了。
优点:不需要训练获取特征，在学习过程中自动提取图像中的特征，免去了常规方法中，大量训练样本的时间。在样本足够大的情况下，能够得到非常精确的识别结果。一般都能95%+的正确率。
缺点：硬件要求高，CUDA的并行框架算是用的很火的了。但是一般的台式机跑一个Demo花费的时间长资源占用高。不过这也是这块算法的通病。

⑶ 什么是BP学习算法

误差反向传播（Error
Back
Propagation,
BP）算法
1、BP算法的基本思想是，学习过程由信号的正向传播与误差的反向传播两个过程组成。
1）正向传播：输入样本－>输入层－>各隐层（处理）－>输出层
注1：若输出层实际输出与期望输出（教师信号）不符，则转入2）（误差反向传播过程）
2）误差反向传播：输出误差（某种形式）－>隐层（逐层）－>输入层
其主要目的是通过将输出误差反传，将误差分摊给各层所有单元，从而获得各层单元的误差信号，进而修正各单元的权值（其过程，是一个权值调整的过程）。
BP算法基本介绍
含有隐层的多层前馈网络能大大提高神经网络的分类能力，但长期以来没有提出解决权值调整问题的游戏算法。1986年，Rumelhart和McCelland领导的科学家小组在《Parallel
Distributed
Processing》一书中，对具有非线性连续转移函数的多层前馈网络的误差反向传播（Error
Back
Proragation，简称BP）算法进行了详尽的分析，实现了Minsky关于多层网络的设想。由于多层前馈网络的训练经常采用误差反向传播算法，人们也常把将多层前馈网络直接称为BP网络。
BP算法的基本思想是，学习过程由信号的正向传播与误差的反向传播两个过程组成。正向传播时，输入样本从输入层传人，经各隐层逐层处理后，传向输出层。若输出层的实际输出与期望的输出(教师信号)不符，则转入误差的反向传播阶段。误差反传是将输出误差以某种形式通过隐层向输入层逐层反传，并将误差分摊给各层的所有单元，从而获得各层单元的误差信号，此误差信号即作为修正各单元权值的依据。这种信号正向传播与误差反向传播的各层权值调整过程，是周而复始地进行的。权值不断调整的过程，也就是网络的学习训练过程。此过程一直进行到网络输出的误差减少到可接受的程度，或进行到预先设定的学习次数为止。

⑷ 支持向量机学习算法

支持向量机学习算法主要有以下五种：

（1）获取学习样本（xⁱ，yⁱ），i=1，2…，其中xⁱ∈Rⁿ，y∈任 ｛1，-1｝^l，对样本进行预处理；

（2）选择进行非线性变换的核函数及对错分（误差）进行惩罚的惩罚因子c；

（3）形成二次优化问题用优化方法（如：Chuknlng算法、内点算法、SMO算法）；

（4）获得a，a^*及b₀的值，代入方程中，获得分类或函数拟合的支持向量机；

（5）将需预测或分类的数据代入支持向量机方程中获得结果。

基坑降水环境影响评价参数选取降水方式、岩土性质、水文地质边界、基坑侧壁状态、边载分布、后续使用年限、基础型式、差异沉降8级，目标输出模式对应4个级别：优等级（Ⅰ）、良好级（Ⅱ）、中等级（Ⅲ）、差级（Ⅳ）。

用一对多多类支持向量机水质分类法：有四类等级要划分，于是在抽取训练集的时候，分别抽取I所对应的向量作为正集，其余所对应的向量作为负集；Ⅱ所对应的向量作为正集，其余所对应的向量作为负集……，这四个训练集分别进行训练得到四个分类器。然后，利用这四个训练结果文件对测试集分别进行测试，最后每个测试都有一个结果，最终的结果便是这四个值中最大的一个。

利用支持向量机进行基坑降水环境影响评价就是寻找影响基坑降水环境系统和孕灾环境系统的指标和基坑降水环境影响等级之间的关系，可建立以下四个分类函数：

基坑降水工程的环境效应与评价方法

⑸ 三种经典的数据挖掘算法

算法，可以说是很多技术的核心，而数据挖掘也是这样的。数据挖掘中有很多的算法，正是这些算法的存在，我们的数据挖掘才能够解决更多的问题。如果我们掌握了这些算法，我们就能够顺利地进行数据挖掘工作，在这篇文章我们就给大家简单介绍一下数据挖掘的经典算法，希望能够给大家带来帮助。
1.KNN算法
KNN算法的全名称叫做k-nearest neighbor classification，也就是K最近邻，简称为KNN算法，这种分类算法，是一个理论上比较成熟的方法，也是最简单的机器学习算法之一。该方法的思路是：如果一个样本在特征空间中的k个最相似，即特征空间中最邻近的样本中的大多数属于某一个类别，则该样本也属于这个类别。KNN算法常用于数据挖掘中的分类，起到了至关重要的作用。
2.Naive Bayes算法
在众多的分类模型中，应用最为广泛的两种分类模型是决策树模型(Decision Tree Model)和朴素贝叶斯模型（Naive Bayesian Model，NBC）。朴素贝叶斯模型发源于古典数学理论，有着坚实的数学基础，以及稳定的分类效率。同时，NBC模型所需估计的参数很少，对缺失数据不太敏感，算法也比较简单。理论上，NBC模型与其他分类方法相比具有最小的误差率。但是实际上并非总是如此，这是因为NBC模型假设属性之间相互独立，这个假设在实际应用中往往是不成立的，这给NBC模型的正确分类带来了一定影响。在属性个数比较多或者属性之间相关性较大时，NBC模型的分类效率比不上决策树模型。而在属性相关性较小时，NBC模型的性能最为良好。这种算法在数据挖掘工作使用率还是挺高的，一名优秀的数据挖掘师一定懂得使用这一种算法。
3.CART算法
CART, 也就是Classification and Regression Trees。就是我们常见的分类与回归树，在分类树下面有两个关键的思想。第一个是关于递归地划分自变量空间的想法；第二个想法是用验证数据进行剪枝。这两个思想也就决定了这种算法的地位。
在这篇文章中我们给大家介绍了关于KNN算法、Naive Bayes算法、CART算法的相关知识，其实这三种算法在数据挖掘中占据着很高的地位，所以说如果要从事数据挖掘行业一定不能忽略这些算法的学习。

⑹ 机器学习中需要掌握的算法有哪些

在学习机器学习中，我们需要掌握很多算法，通过这些算法我们能够更快捷地利用机器学习解决更多的问题，让人工智能实现更多的功能，从而让人工智能变得更智能。因此，本文为大家介绍一下机器学习中需要掌握的算法，希望这篇文章能够帮助大家更深入地理解机器学习。
首先我们为大家介绍的是支持向量机学习算法。其实支持向量机算法简称SVM，一般来说，支持向量机算法是用于分类或回归问题的监督机器学习算法。SVM从数据集学习，这样SVM就可以对任何新数据进行分类。此外，它的工作原理是通过查找将数据分类到不同的类中。我们用它来将训练数据集分成几类。而且，有许多这样的线性超平面，SVM试图最大化各种类之间的距离，这被称为边际最大化。而支持向量机算法那分为两类，第一就是线性SVM。在线性SVM中，训练数据必须通过超平面分离分类器。第二就是非线性SVM，在非线性SVM中，不可能使用超平面分离训练数据。
然后我们给大家介绍一下Apriori机器学习算法，需要告诉大家的是，这是一种无监督的机器学习算法。我们用来从给定的数据集生成关联规则。关联规则意味着如果发生项目A，则项目B也以一定概率发生，生成的大多数关联规则都是IF_THEN格式。Apriori机器学习算法工作的基本原理就是如果项目集频繁出现，则项目集的所有子集也经常出现。
接着我们给大家介绍一下决策树机器学习算法。其实决策树是图形表示，它利用分支方法来举例说明决策的所有可能结果。在决策树中，内部节点表示对属性的测试。因为树的每个分支代表测试的结果，并且叶节点表示特定的类标签，即在计算所有属性后做出的决定。此外，我们必须通过从根节点到叶节点的路径来表示分类。
而随机森林机器学习算法也是一个重要的算法，它是首选的机器学习算法。我们使用套袋方法创建一堆具有随机数据子集的决策树。我们必须在数据集的随机样本上多次训练模型，因为我们需要从随机森林算法中获得良好的预测性能。此外，在这种集成学习方法中，我们必须组合所有决策树的输出，做出最后的预测。此外，我们通过轮询每个决策树的结果来推导出最终预测。
在这篇文章中我们给大家介绍了关于机器学习的算法，具体包括随机森林机器学习算法、决策树算法、apriori算法、支持向量机算法。相信大家看了这篇文章以后对机器学习有个更全面的认识，最后祝愿大家都学有所成、学成归来。

⑺ 机器学习中，什么叫单训练样本

一个人行走，想你念你时，是心伤么？支离破碎的天空，总是，拥有支离破碎的思绪。记忆，渐行渐远；心，越来越孤单。

⑻ 怎么比较机器学习算法的时间复杂度

1.简单好用，容易理解，精度高，理论成熟，既可以用来做分类也可以用来做回归；
2.可用于数值型数据和离散型数据；
3.训练时间复杂度为O(n)；无数据输入假定；
4.对异常值不敏感
缺点：
1.计算复杂性高；空间复杂性高；
2.样本不平衡问题（即有些类别的样本数量很多，而其它样本的数量很少）；
3.一般数值很大的时候不用这个，计算量太大。但是单个样本又不能太少 否则容易发生误分。
4.最大的缺点是无法给出数据的内在含义。

⑼ 在统计学中的样本量是如何计算的，置信度是如何计算的

置信度就是用一种方法构造一百个区间如果有95个区间包含总体真值，就说置信度为95%（包含总体真值的区间占总区间的95%)。

E:样本均值的标准差乘以z值，即总的误差。P：目标总体占总体的比例。(比如：一个班级中男生占所有学生的30%。则p=30%)。

样本量从总体中抽取的样本元素的总个数。样本量的计算公式为： N=Z 2 ×(P ×(1-P))/E 2，其中，Z为置信区间、n为样本容量、d为抽样误差范围、σ为标准差，一般取0.5。

在统计学中，当估算一个变量的期望值时，一个经常用到的方法是重复测量此变量的值，然后用所得数据的平均值来作为此变量的期望值的估计。

在概率分布中，期望值和方差或标准差是一种分布的重要特征。

在经典力学中，物体重心的算法与期望值的算法十分近似。

期望值也可以通过方差计算公式来计算方差

参考资料来源:网络:期望值

⑽ 常见的监督学习算法

K-近邻算法：K-近邻是一种分类算法，其思路是如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。

K通常是不大于20的整数。KNN算法中，所选择的邻居都是已经正确分类的对象。该方法在定类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。

ID3算法：划分数据集的最大原则就是将数据变得更加有序。熵（entropy）是描述信息不确定性（杂乱程度）的一个值。

(10)单样本学习算法扩展阅读：

注意事项：

分类：当数据被用于预测类别时，监督学习也可处理这类分类任务。给一张图片贴上猫或狗的标签就是这种情况。当分类标签只有两个时，这就是二元分类，超过两个则是多元分类。

预测：这是一个基于过去和现在的数据预测未来的过程，其最大应用是趋势分析。一个典型实例是根据今年和前年的销售业绩以预测下一年的销售业绩。