❶ (1)BP算法的学习过程中有两个过程是什么(2)写出BP神经网络的数学模型,并以20
bp（back propagation）网络是1986年由rumelhart和mccelland为首的科学家小组提出，是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。bp网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。bp神经网络模型拓扑结构包括输入层（input）、隐层(hide layer)和输出层(output layer)。
人工神经网络就是模拟人思维的第二种方式。这是一个非线性动力学系统，其特色在于信息的分布式存储和并行协同处理。虽然单个神经元的结构极其简单，功能有限，但大量神经元构成的网络系统所能实现的行为却是极其丰富多彩的。
人工神经网络首先要以一定的学习准则进行学习，然后才能工作。现以人工神经网络对手写“a”、“b”两个字母的识别为例进行说明，规定当“a”输入网络时，应该输出“1”，而当输入为“b”时，输出为“0”。
所以网络学习的准则应该是：如果网络作出错误的的判决，则通过网络的学习，应使得网络减少下次犯同样错误的可能性。首先，给网络的各连接权值赋予(0，1)区间内的随机值，将“a”所对应的图象模式输入给网络，网络将输入模式加权求和、与门限比较、再进行非线性运算，得到网络的输出。在此情况下，网络输出为“1”和“0”的概率各为50%，也就是说是完全随机的。这时如果输出为“1”(结果正确)，则使连接权值增大，以便使网络再次遇到“a”模式输入时，仍然能作出正确的判断。
如果输出为“0”(即结果错误)，则把网络连接权值朝着减小综合输入加权值的方向调整，其目的在于使网络下次再遇到“a”模式输入时，减小犯同样错误的可能性。如此操作调整，当给网络轮番输入若干个手写字母“a”、“b”后，经过网络按以上学习方法进行若干次学习后，网络判断的正确率将大大提高。这说明网络对这两个模式的学习已经获得了成功，它已将这两个模式分布地记忆在网络的各个连接权值上。当网络再次遇到其中任何一个模式时，能够作出迅速、准确的判断和识别。一般说来，网络中所含的神经元个数越多，则它能记忆、识别的模式也就越多。
如图所示拓扑结构的单隐层前馈网络，一般称为三层前馈网或三层感知器，即：输入层、中间层（也称隐层）和输出层。它的特点是：各层神经元仅与相邻层神经元之间相互全连接，同层内神经元之间无连接，各层神经元之间无反馈连接，构成具有层次结构的前馈型神经网络系统。单计算层前馈神经网络只能求解线性可分问题，能够求解非线性问题的网络必须是具有隐层的多层神经网络。
神经网络的研究内容相当广泛，反映了多学科交叉技术领域的特点。主要的研究工作集中在以下几个方面：
（1）生物原型研究。从生理学、心理学、解剖学、脑科学、病理学等生物科学方面研究神经细胞、神经网络、神经系统的生物原型结构及其功能机理。
（2）建立理论模型。根据生物原型的研究，建立神经元、神经网络的理论模型。其中包括概念模型、知识模型、物理化学模型、数学模型等。
（3）网络模型与算法研究。在理论模型研究的基础上构作具体的神经网络模型，以实现计算机模拟或准备制作硬件，包括网络学习算法的研究。这方面的工作也称为技术模型研究。
（4）人工神经网络应用系统。在网络模型与算法研究的基础上，利用人工神经网络组成实际的应用系统，例如，完成某种信号处理或模式识别的功能、构作专家系统、制成机器人等等。
纵观当代新兴科学技术的发展历史，人类在征服宇宙空间、基本粒子，生命起源等科学技术领域的进程中历经了崎岖不平的道路。我们也会看到，探索人脑功能和神经网络的研究将伴随着重重困难的克服而日新月异。
神经网络可以用作分类、聚类、预测等。神经网络需要有一定量的历史数据，通过历史数据的训练，网络可以学习到数据中隐含的知识。在你的问题中，首先要找到某些问题的一些特征，以及对应的评价数据，用这些数据来训练神经网络。
虽然bp网络得到了广泛的应用，但自身也存在一些缺陷和不足，主要包括以下几个方面的问题。
首先，由于学习速率是固定的，因此网络的收敛速度慢，需要较长的训练时间。对于一些复杂问题，bp算法需要的训练时间可能非常长，这主要是由于学习速率太小造成的，可采用变化的学习速率或自适应的学习速率加以改进。
其次，bp算法可以使权值收敛到某个值，但并不保证其为误差平面的全局最小值，这是因为采用梯度下降法可能产生一个局部最小值。对于这个问题，可以采用附加动量法来解决。
再次，网络隐含层的层数和单元数的选择尚无理论上的指导，一般是根据经验或者通过反复实验确定。因此，网络往往存在很大的冗余性，在一定程度上也增加了网络学习的负担。
最后，网络的学习和记忆具有不稳定性。也就是说，如果增加了学习样本，训练好的网络就需要从头开始训练，对于以前的权值和阈值是没有记忆的。但是可以将预测、分类或聚类做的比较好的权值保存。
❷ BP人工神经网络方法
（一）方法原理
人工神经网络是由大量的类似人脑神经元的简单处理单元广泛地相互连接而成的复杂的网络系统。理论和实践表明，在信息处理方面，神经网络方法比传统模式识别方法更具有优势。人工神经元是神经网络的基本处理单元，其接收的信息为x1，x2，…，xn，而ωij表示第i个神经元到第j个神经元的连接强度或称权重。神经元的输入是接收信息X＝（x1，x2，…，xn）与权重W＝｛ωij｝的点积，将输入与设定的某一阈值作比较，再经过某种神经元激活函数f的作用，便得到该神经元的输出Oi。常见的激活函数为Sigmoid型。人工神经元的输入与输出的关系为
地球物理勘探概论
式中：xi为第i个输入元素，即n维输入矢量X的第i个分量；ωi为第i个输入与处理单元间的互联权重；θ为处理单元的内部阈值；y为处理单元的输出。
常用的人工神经网络是BP网络，它由输入层、隐含层和输出层三部分组成。BP算法是一种有监督的模式识别方法，包括学习和识别两部分，其中学习过程又可分为正向传播和反向传播两部分。正向传播开始时，对所有的连接权值置随机数作为初值，选取模式集的任一模式作为输入，转向隐含层处理，并在输出层得到该模式对应的输出值。每一层神经元状态只影响下一层神经元状态。此时，输出值一般与期望值存在较大的误差，需要通过误差反向传递过程，计算模式的各层神经元权值的变化量
（二）BP神经网络计算步骤
（1）初始化连接权值和阈值为一小的随机值，即W（0）＝任意值，θ（0）＝任意值。
（2）输入一个样本X。
（3）正向传播，计算实际输出，即根据输入样本值、互联权值和阈值，计算样本的实际输出。其中输入层的输出等于输入样本值，隐含层和输出层的输入为
地球物理勘探概论
输出为
地球物理勘探概论
式中：f为阈值逻辑函数，一般取Sigmoid函数，即
地球物理勘探概论
式中：θj表示阈值或偏置；θ0的作用是调节Sigmoid函数的形状。较小的θ0将使Sigmoid函数逼近于阈值逻辑单元的特征，较大的θ0将导致Sigmoid函数变平缓，一般取θ0＝1。
（4）计算实际输出与理想输出的误差
地球物理勘探概论
式中：tpk为理想输出；Opk为实际输出；p为样本号；k为输出节点号。
（5）误差反向传播，修改权值
地球物理勘探概论
式中：
地球物理勘探概论
地球物理勘探概论
（6）判断收敛。若误差小于给定值，则结束，否则转向步骤（2）。
（三）塔北雅克拉地区BP神经网络预测实例
以塔北雅克拉地区S4井为已知样本，取氧化还原电位，放射性元素Rn、Th、Tc、U、K和地震反射
S4井位于测区西南部5线25点，是区内唯一已知井。该井在5390.6m的侏罗系地层获得40.6m厚的油气层，在5482m深的震旦系地层中获58m厚的油气层。取S4井周围9个点，即4～6线的23～25 点作为已知油气的训练样本；由于区内没有未见油的钻井，只好根据地质资料分析，选取14～16线的55～57点作为非油气的训练样本。BP网络学习迭代17174次，总误差为0.0001，学习效果相当满意。以学习后的网络进行识别，得出结果如图6-2-4所示。
图6-2-4 塔北雅克拉地区BP神经网络聚类结果
（据刘天佑等，1997）
由图6-2-4可见，由预测值大于0.9可得5个大封闭圈远景区，其中测区南部①号远景区对应着已知油井S4井；②、③号油气远景区位于地震勘探所查明的托库1、2号构造，该两个构造位于沙雅隆起的东段，其西段即为1984年钻遇高产油气流的Sch2井，应是含油气性好的远景区；④、⑤号远景区位于大涝坝构造，是yh油田的组成部分。
❸ 什么是BP算法
误差反向传播（Error Back Propagation, BP）算法
1、BP算法的基本思想是，学习过程由信号的正向传播与误差的反向传播两个过程组成。
1）正向传播：输入样本－>输入层－>各隐层（处理）－>输出层
注1：若输出层实际输出与期望输出（教师信号）不符，则转入2）（误差反向传播过程）
2）误差反向传播：输出误差（某种形式）－>隐层（逐层）－>输入层
其主要目的是通过将输出误差反传，将误差分摊给各层所有单元，从而获得各层单元的误差信号，进而修正各单元的权值（其过程，是一个权值调整的过程）。
BP算法基本介绍
含有隐层的多层前馈网络能大大提高神经网络的分类能力，但长期以来没有提出解决权值调整问题的游戏算法。1986年，Rumelhart和McCelland领导的科学家小组在《Parallel Distributed Processing》一书中，对具有非线性连续转移函数的多层前馈网络的误差反向传播（Error Back Proragation，简称BP）算法进行了详尽的分析，实现了Minsky关于多层网络的设想。由于多层前馈网络的训练经常采用误差反向传播算法，人们也常把将多层前馈网络直接称为BP网络。
BP算法的基本思想是，学习过程由信号的正向传播与误差的反向传播两个过程组成。正向传播时，输入样本从输入层传人，经各隐层逐层处理后，传向输出层。若输出层的实际输出与期望的输出(教师信号)不符，则转入误差的反向传播阶段。误差反传是将输出误差以某种形式通过隐层向输入层逐层反传，并将误差分摊给各层的所有单元，从而获得各层单元的误差信号，此误差信号即作为修正各单元权值的依据。这种信号正向传播与误差反向传播的各层权值调整过程，是周而复始地进行的。权值不断调整的过程，也就是网络的学习训练过程。此过程一直进行到网络输出的误差减少到可接受的程度，或进行到预先设定的学习次数为止。
❹ 机器学习之人工神经网络算法
机器学习中有一个重要的算法，那就是人工神经网络算法，听到这个名称相信大家能够想到人体中的神经。其实这种算法和人工神经有一点点相似。当然，这种算法能够解决很多的问题，因此在机器学习中有着很高的地位。下面我们就给大家介绍一下关于人工神经网络算法的知识。
1.神经网络的来源
我们听到神经网络的时候也时候近一段时间，其实神经网络出现有了一段时间了。神经网络的诞生起源于对大脑工作机理的研究。早期生物界学者们使用神经网络来模拟大脑。机器学习的学者们使用神经网络进行机器学习的实验，发现在视觉与语音的识别上效果都相当好。在BP算法诞生以后，神经网络的发展进入了一个热潮。
2.神经网络的原理
那么神经网络的学习机理是什么？简单来说，就是分解与整合。一个复杂的图像变成了大量的细节进入神经元，神经元处理以后再进行整合，最后得出了看到的是正确的结论。这就是大脑视觉识别的机理，也是神经网络工作的机理。所以可以看出神经网络有很明显的优点。
3.神经网络的逻辑架构
让我们看一个简单的神经网络的逻辑架构。在这个网络中，分成输入层，隐藏层，和输出层。输入层负责接收信号，隐藏层负责对数据的分解与处理，最后的结果被整合到输出层。每层中的一个圆代表一个处理单元，可以认为是模拟了一个神经元，若干个处理单元组成了一个层，若干个层再组成了一个网络，也就是”神经网络”。在神经网络中，每个处理单元事实上就是一个逻辑回归模型，逻辑回归模型接收上层的输入，把模型的预测结果作为输出传输到下一个层次。通过这样的过程，神经网络可以完成非常复杂的非线性分类。
4.神经网络的应用。
图像识别领域是神经网络中的一个着名应用，这个程序是一个基于多个隐层构建的神经网络。通过这个程序可以识别多种手写数字，并且达到很高的识别精度与拥有较好的鲁棒性。可以看出，随着层次的不断深入，越深的层次处理的细节越低。但是进入90年代，神经网络的发展进入了一个瓶颈期。其主要原因是尽管有BP算法的加速，神经网络的训练过程仍然很困难。因此90年代后期支持向量机算法取代了神经网络的地位。
在这篇文章中我们大家介绍了关于神经网络的相关知识，具体的内容就是神经网络的起源、神经网络的原理、神经网络的逻辑架构和神经网络的应用，相信大家看到这里对神经网络知识有了一定的了解，希望这篇文章能够帮助到大家。