① (1)BP演算法的學習過程中有兩個過程是什麼(2)寫出BP神經網路的數學模型,並以20
bp（back propagation）網路是1986年由rumelhart和mccelland為首的科學家小組提出，是一種按誤差逆傳播演算法訓練的多層前饋網路，是目前應用最廣泛的神經網路模型之一。bp網路能學習和存貯大量的輸入-輸出模式映射關系，而無需事前揭示描述這種映射關系的數學方程。它的學習規則是使用最速下降法，通過反向傳播來不斷調整網路的權值和閾值，使網路的誤差平方和最小。bp神經網路模型拓撲結構包括輸入層（input）、隱層(hide layer)和輸出層(output layer)。
人工神經網路就是模擬人思維的第二種方式。這是一個非線性動力學系統，其特色在於信息的分布式存儲和並行協同處理。雖然單個神經元的結構極其簡單，功能有限，但大量神經元構成的網路系統所能實現的行為卻是極其豐富多彩的。
人工神經網路首先要以一定的學習准則進行學習，然後才能工作。現以人工神經網路對手寫「a」、「b」兩個字母的識別為例進行說明，規定當「a」輸入網路時，應該輸出「1」，而當輸入為「b」時，輸出為「0」。
所以網路學習的准則應該是：如果網路作出錯誤的的判決，則通過網路的學習，應使得網路減少下次犯同樣錯誤的可能性。首先，給網路的各連接權值賦予(0，1)區間內的隨機值，將「a」所對應的圖象模式輸入給網路，網路將輸入模式加權求和、與門限比較、再進行非線性運算，得到網路的輸出。在此情況下，網路輸出為「1」和「0」的概率各為50%，也就是說是完全隨機的。這時如果輸出為「1」(結果正確)，則使連接權值增大，以便使網路再次遇到「a」模式輸入時，仍然能作出正確的判斷。
如果輸出為「0」(即結果錯誤)，則把網路連接權值朝著減小綜合輸入加權值的方向調整，其目的在於使網路下次再遇到「a」模式輸入時，減小犯同樣錯誤的可能性。如此操作調整，當給網路輪番輸入若干個手寫字母「a」、「b」後，經過網路按以上學習方法進行若干次學習後，網路判斷的正確率將大大提高。這說明網路對這兩個模式的學習已經獲得了成功，它已將這兩個模式分布地記憶在網路的各個連接權值上。當網路再次遇到其中任何一個模式時，能夠作出迅速、准確的判斷和識別。一般說來，網路中所含的神經元個數越多，則它能記憶、識別的模式也就越多。
如圖所示拓撲結構的單隱層前饋網路，一般稱為三層前饋網或三層感知器，即：輸入層、中間層（也稱隱層）和輸出層。它的特點是：各層神經元僅與相鄰層神經元之間相互全連接，同層內神經元之間無連接，各層神經元之間無反饋連接，構成具有層次結構的前饋型神經網路系統。單計算層前饋神經網路只能求解線性可分問題，能夠求解非線性問題的網路必須是具有隱層的多層神經網路。
神經網路的研究內容相當廣泛，反映了多學科交叉技術領域的特點。主要的研究工作集中在以下幾個方面：
（1）生物原型研究。從生理學、心理學、解剖學、腦科學、病理學等生物科學方面研究神經細胞、神經網路、神經系統的生物原型結構及其功能機理。
（2）建立理論模型。根據生物原型的研究，建立神經元、神經網路的理論模型。其中包括概念模型、知識模型、物理化學模型、數學模型等。
（3）網路模型與演算法研究。在理論模型研究的基礎上構作具體的神經網路模型，以實現計算機模擬或准備製作硬體，包括網路學習演算法的研究。這方面的工作也稱為技術模型研究。
（4）人工神經網路應用系統。在網路模型與演算法研究的基礎上，利用人工神經網路組成實際的應用系統，例如，完成某種信號處理或模式識別的功能、構作專家系統、製成機器人等等。
縱觀當代新興科學技術的發展歷史，人類在征服宇宙空間、基本粒子，生命起源等科學技術領域的進程中歷經了崎嶇不平的道路。我們也會看到，探索人腦功能和神經網路的研究將伴隨著重重困難的克服而日新月異。
神經網路可以用作分類、聚類、預測等。神經網路需要有一定量的歷史數據，通過歷史數據的訓練，網路可以學習到數據中隱含的知識。在你的問題中，首先要找到某些問題的一些特徵，以及對應的評價數據，用這些數據來訓練神經網路。
雖然bp網路得到了廣泛的應用，但自身也存在一些缺陷和不足，主要包括以下幾個方面的問題。
首先，由於學習速率是固定的，因此網路的收斂速度慢，需要較長的訓練時間。對於一些復雜問題，bp演算法需要的訓練時間可能非常長，這主要是由於學習速率太小造成的，可採用變化的學習速率或自適應的學習速率加以改進。
其次，bp演算法可以使權值收斂到某個值，但並不保證其為誤差平面的全局最小值，這是因為採用梯度下降法可能產生一個局部最小值。對於這個問題，可以採用附加動量法來解決。
再次，網路隱含層的層數和單元數的選擇尚無理論上的指導，一般是根據經驗或者通過反復實驗確定。因此，網路往往存在很大的冗餘性，在一定程度上也增加了網路學習的負擔。
最後，網路的學習和記憶具有不穩定性。也就是說，如果增加了學習樣本，訓練好的網路就需要從頭開始訓練，對於以前的權值和閾值是沒有記憶的。但是可以將預測、分類或聚類做的比較好的權值保存。
② 用Matlab算BP神經網路的具體演算法
BP神經網路的傳遞函數一般採用sigmiod函數，學習演算法一般採用最小梯度下降法；下面是具體的程序例子：
例1 採用動量梯度下降演算法訓練 BP 網路。
訓練樣本定義如下：
輸入矢量為
p =[-1 -2 3 1
-1 1 5 -3]
目標矢量為 t = [-1 -1 1 1]
解：本例的 MATLAB 程序如下：
close all
clear
echo on
clc
% NEWFF——生成一個新的前向神經網路
% TRAIN——對 BP 神經網路進行訓練
% SIM——對 BP 神經網路進行模擬
pause
% 敲任意鍵開始
clc
% 定義訓練樣本
% P 為輸入矢量
P=[-1, -2, 3, 1; -1, 1, 5, -3];
% T 為目標矢量
T=[-1, -1, 1, 1];
pause;
clc
% 創建一個新的前向神經網路
net=newff(minmax(P),[3,1],{'tansig','purelin'},'traingdm')
% 當前輸入層權值和閾值
inputWeights=net.IW{1,1}
inputbias=net.b{1}
% 當前網路層權值和閾值
layerWeights=net.LW{2,1}
layerbias=net.b{2}
pause
clc
% 設置訓練參數
net.trainParam.show = 50;
net.trainParam.lr = 0.05; 學習速率
net.trainParam.mc = 0.9; 動量系數
net.trainParam.epochs = 1000;
net.trainParam.goal = 1e-3;
pause
clc
% 調用TRAINGDM 演算法訓練 BP 網路
[net,tr]=train(net,P,T);
pause
clc
% 對 BP 網路進行模擬
A = sim(net,P)
% 計算模擬誤差
E = T - A
MSE=mse(E)
pause
clc
echo off
③ 神經網路——BP演算法
對於初學者來說，了解了一個演算法的重要意義，往往會引起他對演算法本身的重視。BP(Back Propagation，後向傳播)算陸襲法，具有非凡的歷史意義和重大的現實意義。
1969年,作為人工神經網路創始人的明斯基(Marrin M insky)和佩珀特(Seymour Papert)合作出版了《感知器》一書,論證了簡單的線性感知器功能有限,不能解決如「異或」(XOR )這樣的基本問題,而且對多層網路也持悲觀態度。這些論點給神經網路研究以沉重的打擊,很多科學家紛紛離開這一領域,神經網路的研究走向長達10年的低潮時期。[1]
1974年哈佛大學的Paul Werbos發明BP演算法時，正值神經外網路低潮期，並未受到應有的重視。[2]
1983年，加州理工學院的物理學家John Hopfield利用神經網路，在旅行商這個NP完全問題的求解上獲得當時最好成績，引起了轟動[2]。然而,Hopfield的研究成果仍未能指出明斯基等人論點的錯誤所在,要推動神培判經網路研究的全面開展必須直接解除對感知器——多層網路演算法的疑慮。[1]
真正打破明斯基冰封魔咒的是，David Rumelhart等學者出版的《平行分布處理:認知的微觀結構探索》一書。書中完整地提出了BP演算法,系統地解決了多層網路中隱單元連接權的學習問題,並在數學上給出了完整的推導。這是神經網路發展史上的里程碑，BP演算法迅速走紅，掀起了神經網路的第二次高潮。[1,2]
因此，BP演算法的歷史意義：明確地否定了明斯基等人的錯誤觀點，對神經網路第二次高潮具有決定性意義。
這一點是說BP演算法在神經網路領域中的地位和意義。
BP演算法是迄今最成功的神經網路學習演算法，現實任務中使用神經網路時，大多是在使用BP演算法進行訓練[2],包括最近炙手可熱的深度學習概念下的卷積神經網路(CNNs)。
BP神經網路是這樣一種神經網路模型，它是由一個輸入層、一個輸出層和一個或多個隱層構成，它的激活函數採用sigmoid函數，採用BP演算法訓練的多層前饋神經網路。
BP演算法全稱叫作誤差反向傳播(error Back Propagation，或早中兄者也叫作誤差逆傳播)演算法。其演算法基本思想為：在2.1所述的前饋網路中，輸入信號經輸入層輸入，通過隱層計算由輸出層輸出，輸出值與標記值比較，若有誤差，將誤差反向由輸出層向輸入層傳播，在這個過程中，利用梯度下降演算法對神經元權值進行調整。
BP演算法中核心的數學工具就是微積分的 鏈式求導法則 。
BP演算法的缺點，首當其沖就是局部極小值問題。
BP演算法本質上是梯度下降，而它所要優化的目標函數又非常復雜，這使得BP演算法效率低下。
[1]、《BP演算法的哲學思考》，成素梅、郝中華著
[2]、《機器學習》，周志華著
[3]、 Deep Learning論文筆記之（四）CNN卷積神經網路推導和實現
2016-05-13 第一次發布
2016-06-04 較大幅度修改，完善推導過程，修改文章名
2016-07-23 修改了公式推導中的一個錯誤，修改了一個表述錯誤
④ BP演算法、BP神經網路、遺傳演算法、神經網路這四者之間的關系
這四個都屬於人工智慧演算法的范疇。其中BP演算法、BP神經網路和神經網路
屬於神經網路這個大類。遺傳演算法為進化演算法這個大類。
神經網路模擬人類大腦神經計算過程，可以實現高度非線性的預測和計算，主要用於非線性擬合，識別，特點是需要「訓練」，給一些輸入，告訴他正確的輸出。若干次後，再給新的輸入，神經網路就能正確的預測對於的輸出。神經網路廣泛的運用在模式識別，故障診斷中。BP演算法和BP神經網路是神經網路的改進版，修正了一些神經網路的缺點。
遺傳演算法屬於進化演算法，模擬大自然生物進化的過程：優勝略汰。個體不斷進化，只有高質量的個體（目標函數最小（大））才能進入下一代的繁殖。如此往復，最終找到全局最優值。遺傳演算法能夠很好的解決常規優化演算法無法解決的高度非線性優化問題，廣泛應用在各行各業中。差分進化，蟻群演算法，粒子群演算法等都屬於進化演算法，只是模擬的生物群體對象不一樣而已。
⑤ bp神經網路的演算法改進一共有多少種啊！麻煩舉例一下！
1、引入動量項
2、變尺度法
3、變步長法
具體怎麼做，網上都有相關資料，公式比較難打，只能寫到這個份
⑥ BP神經演算法是什麼能給點既通俗易懂又比較詳細的回答嗎
BP（Back Propagation）網路是1986年由Rumelhart和McCelland為首的科學家小組提出，是一種按誤差逆傳播演算法訓練的多層前饋網路，是目前應用最廣泛的神經網路模型之一。BP網路能學習和存貯大量的輸入-輸出模式映射關系，而無需事前揭示描述這種映射關系的數學方程。它的學習規則是使用最速下降法，通過反向傳播來不斷調整網路的權值和閾值，使網路的誤差平方和最小。BP神經網路模型拓撲結構包括輸入層（input）、隱層(hide layer)和輸出層(output layer)。
BP神經網路演算法是在BP神經網路現有演算法的基礎上提出的，是通過任意選定一組權值，將給定的目標輸出直接作為線性方程的代數和來建立線性方程組，解得待求權，不存在傳統方法的局部極小及收斂速度慢的問題，且更易理解。
1 傳統的BP演算法簡述
BP演算法是一種有監督式的學習演算法，其主要思想是：輸入學習樣本，使用反向傳播演算法對網路的權值和偏差進行反復的調整訓練，使輸出的向量與期望向量盡可能地接近，當網路輸出層的誤差平方和小於指定的誤差時訓練完成，保存網路的權值和偏差。具體步驟如下： （1）初始化，隨機給定各連接權［w］,［v］及閥值θi，rt。 （2）由給定的輸入輸出模式對計算隱層、輸出層各單元輸出 bj＝f（■wijai-θj） ct＝f（■vjtbj－rt） 式中：bj為隱層第j個神經元實際輸出；ct為輸出層第t個神經元的實際輸出；wij為輸入層至隱層的連接權；vjt為隱層至輸出層的連接權。 dtk＝（ytk－ct）ct（1－ct） ejk＝［■dtvjt］ bj（1－bj） 式中：dtk為輸出層的校正誤差；ejk為隱層的校正誤差。 （3）計算新的連接權及閥值，計算公式如下： vjt（n＋1）＝vjt（n）＋?琢dtkbj wij（n＋1）＝wij（n）＋?茁ejkaik rt（n＋1）＝rt（n）＋?琢dtk θj（n＋1）=θj（n）＋?茁ejk 式中：?琢，?茁為學習系數（0＜?琢＜1，0＜?茁＜1）。 （4）選取下一個輸入模式對返回第2步反復訓練直到網路設輸出誤差達到要求結束訓練。 傳統的BP演算法，實質上是把一組樣本輸入/輸出問題轉化為一個非線性優化問題，並通過負梯度下降演算法，利用迭代運算求解權值問題的一種學習方法，但其收斂速度慢且容易陷入局部極小，為此提出了一種新的演算法，即高斯消元法。
2 改進的BP網路演算法
2．1 改進演算法概述 此前有人提出：任意選定一組自由權，通過對傳遞函數建立線性方程組，解得待求權。本文在此基礎上將給定的目標輸出直接作為線性方程等式代數和來建立線性方程組，不再通過對傳遞函數求逆來計算神經元的凈輸出，簡化了運算步驟。沒有採用誤差反饋原理，因此用此法訓練出來的神經網路結果與傳統演算法是等效的。其基本思想是：由所給的輸入、輸出模式對通過作用於神經網路來建立線性方程組，運用高斯消元法解線性方程組來求得未知權值，而未採用傳統BP網路的非線性函數誤差反饋尋優的思想。 2．2 改進演算法的具體步驟 對給定的樣本模式對，隨機選定一組自由權，作為輸出層和隱含層之間固定權值，通過傳遞函數計算隱層的實際輸出，再將輸出層與隱層間的權值作為待求量，直接將目標輸出作為等式的右邊建立方程組來求解。 現定義如下符號（見圖1）：x （p）輸入層的輸入矢量；y （p）輸入層輸入為x （p）時輸出層的實際輸出矢量；t （p）目標輸出矢量；n，m，r分別為輸入層、隱層和輸出層神經元個數；W為隱層與輸入層間的權矩陣；V為輸出層與隱層間的權矩陣。具體步驟如下： （1）隨機給定隱層和輸入層間神經元的初始權值wij。 （2）由給定的樣本輸入xi（p）計算出隱層的實際輸出aj（p）。為方便起見將圖1網路中的閥值寫入連接權中去，令：隱層閥值θj＝wnj，x（n）＝－1，則： aj（p）=f（■wijxi（p）） （j＝1，2…m－1）。 （3）計算輸出層與隱層間的權值vjr。以輸出層的第r個神經元為對象，由給定的輸出目標值tr（p）作為等式的多項式值建立方程，用線性方程組表示為： a0（1）v1r+a1（1）v2r+…+am（1）vmr=tr（1）a0（2）v1r+a1（2）v2r+…+am（2）vmr=tr（2） ……a0（p）v1r+a1（p）v2r+…+am（p）vmr=tr（p） 簡寫為： Av＝T 為了使該方程組有唯一解，方程矩陣A為非奇異矩陣，其秩等於其增廣矩陣的秩，即：r（A）＝r（A┊B），且方程的個數等於未知數的個數，故取m＝p，此時方程組的唯一解為： Vr＝［v0r，v2r，…vmr］（r＝0，1，2…m－1） （4）重復第三步就可以求出輸出層m個神經元的權值，以求的輸出層的權矩陣加上隨機固定的隱層與輸入層的權值就等於神經網路最後訓練的權矩陣。
3 計算機運算實例
現以神經網路最簡單的XOR問題用VC編程運算進行比較（取神經網路結構為2－4－1型），傳統演算法和改進BP演算法的誤差（取動量因子α＝0．001 5，步長η＝1．653）
⑦ BP人工神經網路方法
（一）方法原理
人工神經網路是由大量的類似人腦神經元的簡單處理單元廣泛地相互連接而成的復雜的網路系統。理論和實踐表明，在信息處理方面，神經網路方法比傳統模式識別方法更具有優勢。人工神經元是神經網路的基本處理單元，其接收的信息為x1，x2，…，xn，而ωij表示第i個神經元到第j個神經元的連接強度或稱權重。神經元的輸入是接收信息X＝（x1，x2，…，xn）與權重W＝｛ωij｝的點積，將輸入與設定的某一閾值作比較，再經過某種神經元激活函數f的作用，便得到該神經元的輸出Oi。常見的激活函數為Sigmoid型。人工神經元的輸入與輸出的關系為
地球物理勘探概論
式中：xi為第i個輸入元素，即n維輸入矢量X的第i個分量；ωi為第i個輸入與處理單元間的互聯權重；θ為處理單元的內部閾值；y為處理單元的輸出。
常用的人工神經網路是BP網路，它由輸入層、隱含層和輸出層三部分組成。BP演算法是一種有監督的模式識別方法，包括學習和識別兩部分，其中學習過程又可分為正向傳播和反向傳播兩部分。正向傳播開始時，對所有的連接權值置隨機數作為初值，選取模式集的任一模式作為輸入，轉向隱含層處理，並在輸出層得到該模式對應的輸出值。每一層神經元狀態隻影響下一層神經元狀態。此時，輸出值一般與期望值存在較大的誤差，需要通過誤差反向傳遞過程，計算模式的各層神經元權值的變化量
（二）BP神經網路計算步驟
（1）初始化連接權值和閾值為一小的隨機值，即W（0）＝任意值，θ（0）＝任意值。
（2）輸入一個樣本X。
（3）正向傳播，計算實際輸出，即根據輸入樣本值、互聯權值和閾值，計算樣本的實際輸出。其中輸入層的輸出等於輸入樣本值，隱含層和輸出層的輸入為
地球物理勘探概論
輸出為
地球物理勘探概論
式中：f為閾值邏輯函數，一般取Sigmoid函數，即
地球物理勘探概論
式中：θj表示閾值或偏置；θ0的作用是調節Sigmoid函數的形狀。較小的θ0將使Sigmoid函數逼近於閾值邏輯單元的特徵，較大的θ0將導致Sigmoid函數變平緩，一般取θ0＝1。
（4）計算實際輸出與理想輸出的誤差
地球物理勘探概論
式中：tpk為理想輸出；Opk為實際輸出；p為樣本號；k為輸出節點號。
（5）誤差反向傳播，修改權值
地球物理勘探概論
式中：
地球物理勘探概論
地球物理勘探概論
（6）判斷收斂。若誤差小於給定值，則結束，否則轉向步驟（2）。
（三）塔北雅克拉地區BP神經網路預測實例
以塔北雅克拉地區S4井為已知樣本，取氧化還原電位，放射性元素Rn、Th、Tc、U、K和地震反射
S4井位於測區西南部5線25點，是區內唯一已知井。該井在5390.6m的侏羅系地層獲得40.6m厚的油氣層，在5482m深的震旦系地層中獲58m厚的油氣層。取S4井周圍9個點，即4～6線的23～25 點作為已知油氣的訓練樣本；由於區內沒有未見油的鑽井，只好根據地質資料分析，選取14～16線的55～57點作為非油氣的訓練樣本。BP網路學習迭代17174次，總誤差為0.0001，學習效果相當滿意。以學習後的網路進行識別，得出結果如圖6-2-4所示。
圖6-2-4 塔北雅克拉地區BP神經網路聚類結果
（據劉天佑等，1997）
由圖6-2-4可見，由預測值大於0.9可得5個大封閉圈遠景區，其中測區南部①號遠景區對應著已知油井S4井；②、③號油氣遠景區位於地震勘探所查明的托庫1、2號構造，該兩個構造位於沙雅隆起的東段，其西段即為1984年鑽遇高產油氣流的Sch2井，應是含油氣性好的遠景區；④、⑤號遠景區位於大澇壩構造，是yh油田的組成部分。
⑧ MATLAB中BP神經網路的訓練演算法具體是怎麼樣的
先用newff函數建立網路，再用train函數訓練即可。
1）正向傳播：輸入樣本－>輸入層－>各隱層（處理）－>輸出層
注1：若輸出層實際輸出與期望輸出（教師信號）不符，則轉入2）（誤差反向傳播過程）
2）誤差反向傳播：輸出誤差（某種形式）－>隱層（逐層）－>輸入層
其主要目的是通過將輸出誤差反傳，將誤差分攤給各層所有單元，從而獲得各層單元的誤差信號，進而修正各單元的權值（其過程，是一個權值調整的過程）。
BP演算法實現步驟（軟體）：
1）初始化
2）輸入訓練樣本對，計算各層輸出
3）計算網路輸出誤差
4）計算各層誤差信號
5）調整各層權值
6）檢查網路總誤差是否達到精度要求
滿足，則訓練結束；不滿足，則返回步驟2）
註：改進演算法—增加動量項、自適應調整學習速率（這個似乎不錯)及引入陡度因子。
⑨ bp神經網路用啥演算法
自己找個例子算一下，推導一下，這個回答起來比較復雜
神經網路對模型的表達能力依賴於優化演算法，優化是一個不斷計算梯度並調整可學習參數的過程，Fluid中的優化演算法可參考優化器。
在網路的訓練過程中，梯度計算分為兩個步驟：前向計算與反向傳播。
前向計算會根據您搭建的網路結構，將輸入單元的狀態傳遞到輸出單元。
反向傳播藉助鏈式法則，計算兩個或兩個以上復合函數的導數，將輸出單元的梯度反向傳播回輸入單元，根據計算出的梯度，調整網路的可學習參數。
BP演算法
隱層的引入使網路具有很大的潛力。但正像Minskey和Papert當時所指出的．雖然對所有那些能用簡單(無隱層)網結解決的問題有非常簡單的學習規則，即簡單感知器的收斂程序(主要歸功於Widrow和HMf於1960年提出的Delta規剛)，
BP演算法
但當時並沒有找到同樣有技的含隱層的同培的學習規則。對此問題的研究有三個基本的結果。一種是使用簡單無監督學習規則的競爭學習方法．但它缺乏外部信息．難以確定適台映射的隱層結構。第二條途徑是假設一十內部(隱層)的表示方法，這在一些先約條件下是台理的。另一種方法是利用統計手段設計一個學習過程使之能有技地實現適當的內部表示法，Hinton等人(1984年)提出的Bolzmann機是這種方法的典型例子．它要求網路在兩個不同的狀態下達到平衡，並且只局限於對稱網路。Barto和他的同事(1985年)提出了另一條利用統計手段的學習方法。但迄今為止最有教和最實用的方瑤是Rumelhart、Hinton和Williams(1986年)提出的一般Delta法則，即反向傳播(BP)演算法。Parter(1985年)也獨立地得出過相似的演算法,他稱之為學習邏輯。此外， Lecun(1985年)也研究出大致相似的學習法則。