bp算法压缩感知

㈠ BP算法、BP神经网络、遗传算法、神经网络这四者之间的关系

这四个都属于人工智能算法的范畴。其中BP算法、BP神经网络和神经网络
属于神经网络这个大类。遗传算法为进化算法这个大类。
神经网络模拟人类大脑神经计算过程，可以实现高度非线性的预测和计算，主要用于非线性拟合，识别，特点是需要“训练”，给一些输入，告诉他正确的输出。若干次后，再给新的输入，神经网络就能正确的预测对于的输出。神经网络广泛的运用在模式识别，故障诊断中。BP算法和BP神经网络是神经网络的改进版，修正了一些神经网络的缺点。
遗传算法属于进化算法，模拟大自然生物进化的过程：优胜略汰。个体不断进化，只有高质量的个体（目标函数最小（大））才能进入下一代的繁殖。如此往复，最终找到全局最优值。遗传算法能够很好的解决常规优化算法无法解决的高度非线性优化问题，广泛应用在各行各业中。差分进化，蚁群算法，粒子群算法等都属于进化算法，只是模拟的生物群体对象不一样而已。

㈡ BP神经网络和感知器有什么区别

1、发展背景不同：

感知器是Frank Rosenblatt在1957年所发明的一种人工神经网络，可以被视为一种最简单形式的前馈式人工神经网络，是一种二元线性分类器。

而BP神经网络发展于20世纪80年代中期，David Runelhart。Geoffrey Hinton和Ronald W-llians、DavidParker等人分别独立发现了误差反向传播算法，简称BP，系统解决了多层神经网络隐含层连接权学习问题，并在数学上给出了完整推导。

2、结构不同：

BP网络是在输入层与输出层之间增加若干层(一层或多层)神经元，这些神经元称为隐单元，它们与外界没有直接的联系，但其状态的改变，则能影响输入与输出之间的关系，每一层可以有若干个节点。

感知器也被指为单层的人工神经网络，以区别于较复杂的多层感知器（Multilayer Perceptron）。 作为一种线性分类器，（单层）感知器可说是最简单的前向人工神经网络形式。

3、算法不同：

BP神经网络的计算过程由正向计算过程和反向计算过程组成。正向传播过程，输入模式从输入层经隐单元层逐层处理，并转向输出层，每层神经元的状态只影响下一层神经元的状态。感知器使用特征向量来表示的前馈式人工神经网络，它是一种二元分类器，输入直接经过权重关系转换为输出。

㈢ bp算法是什么

误差反向传播算法：

BP算法的基本思想是，学习过程包括两个过程：信号前向传播和误差后向传播。

（1）前向传播:输入样本->输入层->各隐层(处理)->输出层。

（2）错误反向传播:输出错误(某种形式)->隐藏层(逐层)->输入层。

BP算法基本介绍：

多层隐含层前馈网络可以极大地提高神经网络的分类能力，但长期以来一直没有提出解决权值调整问题的博弈算法。

1986年，Rumelhart和McCelland领导的科学家团队出版了《并行分布式处理》一书，详细分析了具有非线性连续传递函数的多层前馈网络的误差反向比例（BP）算法，实现了Minsky关于多层网络的思想。由于误差的反向传播算法常用于多层前馈网络的训练，人们常直接称多层前馈网络为BP网络。

㈣ 关于BP算法，真正明白BP算法的进！

一、隐藏层顾名思义，他的输出者就是给别的层使用的，一般隐藏着不给人看。
二、干什么用的……这个都可以从AI发展史来说了，就是早期的神经网络是单层，于是有人证明这种的学习能力有限，有些问题，比如异或就不能解决，后来，就有人提出了多层神经网络，增强了神经网络的学习能力。其中非输出层都是隐藏层（好像是这样），最根本的作用就是增加神经网络的学习能力。最直接的作用就是把接收到的输入信号产生一个输出给下一层。

㈤ bp算法在深度神经网络上为什么行不通

BP算法作为传统训练多层网络的典型算法，实际上对仅含几层网络，该训练方法就已经很不理想，不再往下进行计算了，所以不适合深度神经网络。

BP算法存在的问题：

（1）梯度越来越稀疏：从顶层越往下，误差校正信号越来越小。

（2）收敛到局部最小值：尤其是从远离最优区域开始的时候（随机值初始化会导致这种情况的发生）。

（3）一般，我们只能用有标签的数据来训练：但大部分的数据是没标签的，而大脑可以从没有标签的的数据中学习。

深度神经网络的特点：

多层的好处是可以用较少的参数表示复杂的函数。

在监督学习中，以前的多层神经网络的问题是容易陷入局部极值点。如果训练样本足够充分覆盖未来的样本，那么学到的多层权重可以很好的用来预测新的测试样本。

非监督学习中，以往没有有效的方法构造多层网络。多层神经网络的顶层是底层特征的高级表示，比如底层是像素点，上一层的结点可能表示横线，三角； 而顶层可能有一个结点表示人脸。一个成功的算法应该能让生成的顶层特征最大化的代表底层的样例。

如果对所有层同时训练，时间复杂度会太高； 如果每次训练一层，偏差就会逐层传递。这会面临跟上面监督学习中相反的问题，会严重欠拟合。