BP演算法的優點和不足

Ⅰ BP神經網路的核心問題是什麼其優缺點有哪些

人工神經網路,是一種旨在模仿人腦結構及其功能的信息處理系統,就是使用人工神經網路方法實現模式識別.可處理一些環境信息十分復雜,背景知識不清楚,推理規則不明確的問題,神經網路方法允許樣品有較大的缺損和畸變.神經網路的類型很多,建立神經網路模型時,根據研究對象的特點,可以考慮不同的神經網路模型. 前饋型BP網路,即誤差逆傳播神經網路是最常用,最流行的神經網路.BP網路的輸入和輸出關系可以看成是一種映射關系,即每一組輸入對應一組輸出.BP演算法是最著名的多層前向網路訓練演算法,盡管存在收斂速度慢,局部極值等缺點,但可通過各種改進措施來提高它的收斂速度,克服局部極值現象,而且具有簡單,易行,計算量小,並行性強等特點,目前仍是多層前向網路的首選演算法.

• 多層前向BP網路的優點：

• 網路實質上實現了一個從輸入到輸出的映射功能，而數學理論已證明它具有實現任何復雜非線性映射的功能。這使得它特別適合於求解內部機制復雜的問題；

• 網路能通過學習帶正確答案的實例集自動提取「合理的」求解規則，即具有自學習能力；

• 網路具有一定的推廣、概括能力。

• 多層前向BP網路的問題：

• 從數學角度看，BP演算法為一種局部搜索的優化方法，但它要解決的問題為求解復雜非線性函數的全局極值，因此，演算法很有可能陷入局部極值，使訓練失敗；

• 網路的逼近、推廣能力同學習樣本的典型性密切相關，而從問題中選取典型樣本實例組成訓練集是一個很困難的問題。

• 難以解決應用問題的實例規模和網路規模間的矛盾。這涉及到網路容量的可能性與可行性的關系問題，即學習復雜性問題；

• 網路結構的選擇尚無一種統一而完整的理論指導，一般只能由經驗選定。為此，有人稱神經網路的結構選擇為一種藝術。而網路的結構直接影響網路的逼近能力及推廣性質。因此，應用中如何選擇合適的網路結構是一個重要的問題；

• 新加入的樣本要影響已學習成功的網路，而且刻畫每個輸入樣本的特徵的數目也必須相同；

• 網路的預測能力（也稱泛化能力、推廣能力）與訓練能力（也稱逼近能力、學習能力）的矛盾。一般情況下，訓練能力差時，預測能力也差，並且一定程度上，隨訓練能力地提高，預測能力也提高。但這種趨勢有一個極限，當達到此極限時，隨訓練能力的提高，預測能力反而下降，即出現所謂「過擬合」現象。此時，網路學習了過多的樣本細節，而不能反映樣本內含的規律

• 由於BP演算法本質上為梯度下降法，而它所要優化的目標函數又非常復雜，因此，必然會出現「鋸齒形現象」，這使得BP演算法低效；

• 存在麻痹現象，由於優化的目標函數很復雜，它必然會在神經元輸出接近0或1的情況下，出現一些平坦區，在這些區域內，權值誤差改變很小，使訓練過程幾乎停頓；

• 為了使網路執行BP演算法，不能用傳統的一維搜索法求每次迭代的步長，而必須把步長的更新規則預先賦予網路，這種方法將引起演算法低效。

Ⅱ 簡要說明前饋神經網路的BP演算法學習過程，並指出其具有什麼缺點及其原因

計算步驟
1.確定最大誤差和最大學習次數。
2.計算當前輸入下的輸出。
3.判斷輸出誤差是否滿足要求，滿足則退出，不滿足則開始學習。
4.計算廣義誤差，連接權系數更新。
6.次數加1，繼續迭代計算直到滿足要求。
缺點：
1.計算速度慢（計算量大，學習演算法不成熟，不同的演算法針對不同的問題收斂才快些）
2.輸入信號與訓練信號相差加大時，可能導致結果完全錯誤（不同的區域可能有不同的極值）

Ⅲ BP演算法及其改進

傳統的BP演算法及其改進演算法的一個很大缺點是：由於其誤差目標函數對於待學習的連接權值來說非凸的，存在局部最小點，對網路進行訓練時，這些演算法的權值一旦落入權值空間的局部最小點就很難跳出，因而無法達到全局最小點(即最優點)而使得網路訓練失敗。針對這些缺陷，根據凸函數及其共軛的性質，利用Fenchel不等式，使用約束優化理論中的罰函數方法構造出了帶有懲罰項的新誤差目標函數。

用新的目標函數對前饋神經網路進行優化訓練時，隱層輸出也作為被優化變數。這個目標函數的主要特點有：
1.固定隱層輸出，該目標函數對連接權值來說是凸的；固定連接權值，對隱層輸出來說是凸的。這樣在對連接權值和隱層輸出進行交替優化時，它們所面對的目標函數都是凸函數，不存在局部最小的問題，演算法對於初始權值的敏感性降低；
2.由於懲罰因子是逐漸增大的，使得權值的搜索空間變得比較大，從而對於大規模的網路也能夠訓練，在一定程度上降低了訓練過程陷入局部最小的可能性。

這些特性能夠在很大程度上有效地克服以往前饋網路的訓練演算法易於陷入局部最小而使網路訓練失敗的重大缺陷，也為利用凸優化理論研究前饋神經網路的學習演算法開創了一個新思路。在網路訓練時，可以對連接權值和隱層輸出進行交替優化。把這種新演算法應用到前饋神經網路訓練學習中，在學習速度、泛化能力、網路訓練成功率等多方面均優於傳統訓練演算法，如經典的BP演算法。數值試驗也表明了這一新演算法的有效性。

本文通過典型的BP演算法與新演算法的比較，得到了二者之間相互關系的初步結論。從理論上證明了當懲罰因子趨於正無窮大時新演算法就是BP演算法，並且用數值試驗說明了懲罰因子在網路訓練演算法中的作用和意義。對於三層前饋神經網路來說，懲罰因子較小時，隱層神經元局部梯度的可變范圍大，有利於連接權值的更新；懲罰因子較大時，隱層神經元局部梯度的可變范圍小，不利於連接權值的更新，但能提高網路訓練精度。這說明了在網路訓練過程中懲罰因子為何從小到大變化的原因,也說明了新演算法的可行性而BP演算法則時有無法更新連接權值的重大缺陷。

礦體預測在礦床地質中佔有重要地位，由於輸入樣本量大，用以往前饋網路演算法進行礦體預測效果不佳。本文把前饋網路新演算法應用到礦體預測中，取得了良好的預期效果。

本文最後指出了新演算法的優點，並指出了有待改進的地方。

關鍵詞：前饋神經網路，凸優化理論，訓練演算法，礦體預測，應用

Feed forward Neural Networks Training Algorithm Based on Convex Optimization and Its Application in Deposit Forcasting
JIA Wen-chen (Computer Application)
Directed by YE Shi-wei

Abstract

The paper studies primarily the application of convex optimization theory and algorithm for feed forward neural networks』 training and convergence performance.

It reviews the history of feed forward neural networks, points out that the training of feed forward neural networks is essentially a non-linear problem and introces BP algorithm, its advantages as well as disadvantages and previous improvements for it. One of the big disadvantages of BP algorithm and its improvement algorithms is: because its error target function is non-convex in the weight values between neurons in different layers and exists local minimum point, thus, if the weight values enter local minimum point in weight values space when network is trained, it is difficult to skip local minimum point and reach the global minimum point (i.e. the most optimal point).If this happening, the training of networks will be unsuccessful. To overcome these essential disadvantages, the paper constructs a new error target function including restriction item according to convex function, Fenchel inequality in the conjugate of convex function and punishment function method in restriction optimization theory.
When feed forward neural networks based on the new target function is being trained, hidden layers』 outputs are seen as optimization variables. The main characteristics of the new target function are as follows:

1.With fixed hidden layers』 outputs, the new target function is convex in connecting weight variables; with fixed connecting weight values, the new target function is convex in hidden layers』 outputs. Thus, when connecting weight values and hidden layers』 outputs are optimized alternately, the new target function is convex in them, doesn』t exist local minimum point, and the algorithm』s sensitiveness is reced for original weight values .
2.Because the punishment factor is increased graally, weight values 』 searching space gets much bigger, so big networks can be trained and the possibility of entering local minimum point can be reced to a certain extent in network training process.

Using these characteristics can overcome efficiently in the former feed forward neural networks』 training algorithms the big disadvantage that networks training enters local minimum point easily. This creats a new idea for feed forward neural networks』 learning algorithms by using convex optimization theory .In networks training, connecting weight variables and hidden layer outputs can be optimized alternately. The new algorithm is much better than traditional algorithms for feed forward neural networks. The numerical experiments show that the new algorithm is successful.

By comparing the new algorithm with the traditional ones, a primary conclusion of their relationship is reached. It is proved theoretically that when the punishment factor nears infinity, the new algorithm is BP algorithm yet. The meaning and function of the punishment factor are also explained by numerical experiments. For three-layer feed forward neural networks, when the punishment factor is smaller, hidden layer outputs』 variable range is bigger and this is in favor to updating of the connecting weights values, when the punishment factor is bigger, hidden layer outputs』 variable range is smaller and this is not in favor to updating of the connecting weights values but it can improve precision of networks. This explains the reason that the punishment factor should be increased graally in networks training process. It also explains feasibility of the new algorithm and BP algorithm』s disadvantage that connecting weigh values can not be updated sometimes.

Deposit forecasting is very important in deposit geology. The previous algorithms』 effect is not good in deposit forecasting because of much more input samples. The paper applies the new algorithm to deposit forecasting and expectant result is reached.
The paper points out the new algorithm』s strongpoint as well as to-be-improved places in the end.

Keywords: feed forward neural networks, convex optimization theory, training algorithm, deposit forecasting, application

傳統的BP演算法及其改進演算法的一個很大缺點是：由於其誤差目標函數對於待學習的連接權值來說非凸的，存在局部最小點，對網路進行訓練時，這些演算法的權值一旦落入權值空間的局部最小點就很難跳出，因而無法達到全局最小點(即最優點)而使得網路訓練失敗。針對這些缺陷，根據凸函數及其共軛的性質，利用Fenchel不等式，使用約束優化理論中的罰函數方法構造出了帶有懲罰項的新誤差目標函數。

用新的目標函數對前饋神經網路進行優化訓練時，隱層輸出也作為被優化變數。這個目標函數的主要特點有：
1.固定隱層輸出，該目標函數對連接權值來說是凸的；固定連接權值，對隱層輸出來說是凸的。這樣在對連接權值和隱層輸出進行交替優化時，它們所面對的目標函數都是凸函數，不存在局部最小的問題，演算法對於初始權值的敏感性降低；
2.由於懲罰因子是逐漸增大的，使得權值的搜索空間變得比較大，從而對於大規模的網路也能夠訓練，在一定程度上降低了訓練過程陷入局部最小的可能性。

這些特性能夠在很大程度上有效地克服以往前饋網路的訓練演算法易於陷入局部最小而使網路訓練失敗的重大缺陷，也為利用凸優化理論研究前饋神經網路的學習演算法開創了一個新思路。在網路訓練時，可以對連接權值和隱層輸出進行交替優化。把這種新演算法應用到前饋神經網路訓練學習中，在學習速度、泛化能力、網路訓練成功率等多方面均優於傳統訓練演算法，如經典的BP演算法。數值試驗也表明了這一新演算法的有效性。

本文通過典型的BP演算法與新演算法的比較，得到了二者之間相互關系的初步結論。從理論上證明了當懲罰因子趨於正無窮大時新演算法就是BP演算法，並且用數值試驗說明了懲罰因子在網路訓練演算法中的作用和意義。對於三層前饋神經網路來說，懲罰因子較小時，隱層神經元局部梯度的可變范圍大，有利於連接權值的更新；懲罰因子較大時，隱層神經元局部梯度的可變范圍小，不利於連接權值的更新，但能提高網路訓練精度。這說明了在網路訓練過程中懲罰因子為何從小到大變化的原因,也說明了新演算法的可行性而BP演算法則時有無法更新連接權值的重大缺陷。

礦體預測在礦床地質中佔有重要地位，由於輸入樣本量大，用以往前饋網路演算法進行礦體預測效果不佳。本文把前饋網路新演算法應用到礦體預測中，取得了良好的預期效果。

本文最後指出了新演算法的優點，並指出了有待改進的地方。

關鍵詞：前饋神經網路，凸優化理論，訓練演算法，礦體預測，應用

Feed forward Neural Networks Training Algorithm Based on Convex Optimization and Its Application in Deposit Forcasting
JIA Wen-chen (Computer Application)
Directed by YE Shi-wei

Abstract

The paper studies primarily the application of convex optimization theory and algorithm for feed forward neural networks』 training and convergence performance.

It reviews the history of feed forward neural networks, points out that the training of feed forward neural networks is essentially a non-linear problem and introces BP algorithm, its advantages as well as disadvantages and previous improvements for it. One of the big disadvantages of BP algorithm and its improvement algorithms is: because its error target function is non-convex in the weight values between neurons in different layers and exists local minimum point, thus, if the weight values enter local minimum point in weight values space when network is trained, it is difficult to skip local minimum point and reach the global minimum point (i.e. the most optimal point).If this happening, the training of networks will be unsuccessful. To overcome these essential disadvantages, the paper constructs a new error target function including restriction item according to convex function, Fenchel inequality in the conjugate of convex function and punishment function method in restriction optimization theory.
When feed forward neural networks based on the new target function is being trained, hidden layers』 outputs are seen as optimization variables. The main characteristics of the new target function are as follows:

1.With fixed hidden layers』 outputs, the new target function is convex in connecting weight variables; with fixed connecting weight values, the new target function is convex in hidden layers』 outputs. Thus, when connecting weight values and hidden layers』 outputs are optimized alternately, the new target function is convex in them, doesn』t exist local minimum point, and the algorithm』s sensitiveness is reced for original weight values .
2.Because the punishment factor is increased graally, weight values 』 searching space gets much bigger, so big networks can be trained and the possibility of entering local minimum point can be reced to a certain extent in network training process.

Using these characteristics can overcome efficiently in the former feed forward neural networks』 training algorithms the big disadvantage that networks training enters local minimum point easily. This creats a new idea for feed forward neural networks』 learning algorithms by using convex optimization theory .In networks training, connecting weight variables and hidden layer outputs can be optimized alternately. The new algorithm is much better than traditional algorithms for feed forward neural networks. The numerical experiments show that the new algorithm is successful.

By comparing the new algorithm with the traditional ones, a primary conclusion of their relationship is reached. It is proved theoretically that when the punishment factor nears infinity, the new algorithm is BP algorithm yet. The meaning and function of the punishment factor are also explained by numerical experiments. For three-layer feed forward neural networks, when the punishment factor is smaller, hidden layer outputs』 variable range is bigger and this is in favor to updating of the connecting weights values, when the punishment factor is bigger, hidden layer outputs』 variable range is smaller and this is not in favor to updating of the connecting weights values but it can improve precision of networks. This explains the reason that the punishment factor should be increased graally in networks training process. It also explains feasibility of the new algorithm and BP algorithm』s disadvantage that connecting weigh values can not be updated sometimes.

Deposit forecasting is very important in deposit geology. The previous algorithms』 effect is not good in deposit forecasting because of much more input samples. The paper applies the new algorithm to deposit forecasting and expectant result is reached.
The paper points out the new algorithm』s strongpoint as well as to-be-improved places in the end.

Keywords: feed forward neural networks, convex optimization theory, training algorithm, deposit forecasting, application

BP演算法及其改進

2.1 BP演算法步驟

1°隨機抽取初始權值ω0；

2°輸入學習樣本對（Xp,Yp），學習速率η，誤差水平ε；

3°依次計算各層結點輸出opi,opj,opk；

4°修正權值ωk+1=ωk+ηpk,其中pk=,ωk為第k次迭代權變數；

5°若誤差E<ε停止，否則轉3°。

2.2 最優步長ηk的確定

在上面的演算法中，學習速率η實質上是一個沿負梯度方向的步長因子，在每一次迭代中如何確定一個最優步長ηk，使其誤差值下降最快，則是典型的一維搜索問題，即E(ωk+ηkpk)=(ωk+ηpk)。令Φ(η)=E(ωk+ηpk)，則Φ′(η)=dE(ωk+ηpk)/dη=E(ωk+ηpk)Tpk。若ηk為(η)的極小值點，則Φ′(ηk)=0，即E(ωk+ηpk)Tpk=-pTk+1pk=0。確定ηk的演算法步驟如下

1°給定η0=0,h=0.01,ε0=0.00001；

2°計算Φ′(η0),若Φ′(η0)=0,則令ηk=η0，停止計算；

3°令h=2h, η1=η0+h；

4°計算Φ′(η1)，若Φ′(η1)=0，則令ηk=η1，停止計算；

若Φ′(η1)>0，則令a=η0,b=η1；若Φ′(η1)<0，則令η0=η1，轉3°；

5°計算Φ′(a)，若Φ′(a)=0，則ηk=a，停止計算；

6°計算Φ′(b)，若Φ′(b)=0，則ηk=b，停止計算；

7°計算Φ′(a+b/2),若Φ′(a+b/2)=0，則ηk=a+b/2，停止計算；

若Φ′(a+b/2)<0,則令a=a+b/2;若Φ′(a+b/2)>0，則令b=a+b/2

8°若｜a-b｜<ε0，則令，ηk=a+b/2,停止計算，否則轉7°。

2.3 改進BP演算法的特點分析

在上述改進的BP演算法中，對學習速率η的選取不再由用戶自己確定，而是在每次迭代過程中讓計算機自動尋找最優步長ηk。而確定ηk的演算法中，首先給定η0=0，由定義Φ(η)=E(ωk+ηpk)知，Φ′(η)=dE(ωk+ηpk)/dη=E(ωk+ηpk)Tpk，即Φ′(η0)=-pTkpk≤0。若Φ′(η0)=0，則表明此時下降方向pk為零向量，也即已達到局部極值點，否則必有Φ′(η0)<0，而對於一維函數Φ(η)的性質可知，Φ′(η0)<0則在η0=0的局部范圍內函數為減函數。故在每一次迭代過程中給η0賦初值0是合理的。

改進後的BP演算法與原BP演算法相比有兩處變化，即步驟2°中不需給定學習速率η的值；另外在每一次修正權值之前，即步驟4°前已計算出最優步長ηk。

Ⅳ 什麼是BP學習演算法

誤差反向傳播（Error
Back
Propagation,
BP）演算法
1、BP演算法的基本思想是，學習過程由信號的正向傳播與誤差的反向傳播兩個過程組成。
1）正向傳播：輸入樣本－>輸入層－>各隱層（處理）－>輸出層
注1：若輸出層實際輸出與期望輸出（教師信號）不符，則轉入2）（誤差反向傳播過程）
2）誤差反向傳播：輸出誤差（某種形式）－>隱層（逐層）－>輸入層
其主要目的是通過將輸出誤差反傳，將誤差分攤給各層所有單元，從而獲得各層單元的誤差信號，進而修正各單元的權值（其過程，是一個權值調整的過程）。
BP演算法基本介紹
含有隱層的多層前饋網路能大大提高神經網路的分類能力，但長期以來沒有提出解決權值調整問題的游戲演算法。1986年，Rumelhart和McCelland領導的科學家小組在《Parallel
Distributed
Processing》一書中，對具有非線性連續轉移函數的多層前饋網路的誤差反向傳播（Error
Back
Proragation，簡稱BP）演算法進行了詳盡的分析，實現了Minsky關於多層網路的設想。由於多層前饋網路的訓練經常採用誤差反向傳播演算法，人們也常把將多層前饋網路直接稱為BP網路。
BP演算法的基本思想是，學習過程由信號的正向傳播與誤差的反向傳播兩個過程組成。正向傳播時，輸入樣本從輸入層傳人，經各隱層逐層處理後，傳向輸出層。若輸出層的實際輸出與期望的輸出(教師信號)不符，則轉入誤差的反向傳播階段。誤差反傳是將輸出誤差以某種形式通過隱層向輸入層逐層反傳，並將誤差分攤給各層的所有單元，從而獲得各層單元的誤差信號，此誤差信號即作為修正各單元權值的依據。這種信號正向傳播與誤差反向傳播的各層權值調整過程，是周而復始地進行的。權值不斷調整的過程，也就是網路的學習訓練過程。此過程一直進行到網路輸出的誤差減少到可接受的程度，或進行到預先設定的學習次數為止。

Ⅳ bp神經網路研究現狀

BP網路的誤差逆傳播演算法因有中間隱含層和相應的學習規則，使得它具有很
強的非線性映射能力，而且網路的中間層數、各層神經元個數及網路的學習系數
等參數可以根據實際情況設定，有很大的靈活性，且能夠識別含有雜訊的樣本，
經過學習能夠把樣本隱含的特徵和規則分布在神經網路的連接權上。總的說來，
BP網路的優點主要有：
(1)演算法推導清楚，學習精度較高；(2)經過訓練後的BP網路，運行速度很快，有
的可用於實時處理；(3)多層(至少三層)BP網路具有理論上逼近任意非線性連續
函數的能力，也就是說，可以使多層前饋神經網路學會任何可學習的東西，而信
息處理的大部分問題都能歸納為數學映射，通過選擇一定的非線性和連接強度調
節規律，BP網路就可解決任何一個信息處理的問題。目前，在手寫字體的識別、
語音識別、文本一語言轉換、圖像識別以及生物醫學信號處理方面已有實際的應
用。
同時BP演算法與其它演算法一樣，也存在自身的缺陷：
(1)由於該演算法採用誤差導數指導學習過程，在存在較多局部極小點的情況下容易陷入局部極小點，不能保證收斂到全局最小點：(2)存在學習速度與精度之間的矛盾，當學習速度較快時，學習過程容易產生振盪，難以得到精確結果，而當學習速度較慢時，雖然結果的精度較高，但學習周期太長：(3)演算法學習收斂速度慢；(4)網路學習記憶具有不穩定性，即當給一個訓練好的網路提供新的學習記憶模式時，將使已有的連接權值打亂，導致已記憶的學習模式的信息消失；(5)網路中間層(隱含層)的層數及它的單元數的選取無理論上的指導，而是根據經驗確定，因此網路的設計有時不一定是最佳的方案。

Ⅵ 什麼是BP神經網路

BP演算法的基本思想是：學習過程由信號正向傳播與誤差的反向回傳兩個部分組成；正向傳播時，輸入樣本從輸入層傳入，經各隱層依次逐層處理，傳向輸出層，若輸出層輸出與期望不符，則將誤差作為調整信號逐層反向回傳，對神經元之間的連接權矩陣做出處理，使誤差減小。經反復學習，最終使誤差減小到可接受的范圍。具體步驟如下：
1、從訓練集中取出某一樣本，把信息輸入網路中。
2、通過各節點間的連接情況正向逐層處理後，得到神經網路的實際輸出。
3、計算網路實際輸出與期望輸出的誤差。
4、將誤差逐層反向回傳至之前各層，並按一定原則將誤差信號載入到連接權值上，使整個神經網路的連接權值向誤差減小的方向轉化。
5、対訓練集中每一個輸入—輸出樣本對重復以上步驟，直到整個訓練樣本集的誤差減小到符合要求為止。

Ⅶ BP網的功能及導高預測適用性

採用BP演算法的前饋神經網是神經網路在各個領域中應用最廣泛的一種,已經成功解決了大量實際問題。BP網的廣泛應用,歸因於其主要能力：具有非線性映射能力、泛化能力與容錯能力。

多層前饋網能學習和存儲大量輸入-輸出模式映射關系,即使不了解描述這種映射關系的數學方程,只要能提供足夠多的樣本模式對以供BP網路進行學習訓練,它便可以完成由n維輸入空間到m維輸出空間的非線性映射,即非線性映射能力。在工程上及許多技術領域中,對某一輸入 輸出系統常常積累了大量相關的輸入 輸出數據,但仍未掌握其內部蘊涵的規律,無法用數學方法來描述該規律。對難以得到解析解、缺乏專家經驗,但能夠表示和轉化為模式識別或非線性映射的這類問題,多層前饋網路具有無可比擬的優勢。通過訓練的多層前饋網路,將所提取的樣本對中的非線性映射關系存儲在權值矩陣中,當向網路輸入訓練時未曾見的非樣本數據時,網路也能完成由輸入空間向輸出空間的正確映射,即泛化能力,是衡量多層前饋網性能優劣的一個重要方面。由於權矩陣的調整是從大量的樣本中提取統計特性的過程,反映正確規律的知識來自全體樣本,個別樣本中的誤差不能左右對矩陣的調整。所以多層前饋網允許輸入樣本中帶有較大的誤差甚至個別錯誤,即容錯能力。

標准演算法在應用中具有訓練次數多,學習效率低,收斂速度慢,隱節點的選取缺乏理論指導,訓練時學習新樣本有遺忘舊樣本的趨勢,容易形成局部極小而得到局部全優等缺點,通過要權值調整公式中增加動量項α、自適應調節學習率η、在轉移函數中引入陡度因子λ等方法,有效改進了BP演算法,進一步提高其適用性。

因此,採用BP人工神經網路建立導水裂隙帶高度與其影響因子之間的非線性映射關系,並發揮BP網的泛化能力,輸入影響因子,對導水裂隙帶高度進行預測,具有無可比擬的優越性。

Ⅷ BP神經網路的應用不足

神經網路可以用作分類、聚類、預測等。神經網路需要有一定量的歷史數據，通過歷史數據的訓練，網路可以學習到數據中隱含的知識。在你的問題中，首先要找到某些問題的一些特徵，以及對應的評價數據，用這些數據來訓練神經網路。
雖然BP網路得到了廣泛的應用，但自身也存在一些缺陷和不足，主要包括以下幾個方面的問題。
首先，由於學習速率是固定的，因此網路的收斂速度慢，需要較長的訓練時間。對於一些復雜問題，BP演算法需要的訓練時間可能非常長，這主要是由於學習速率太小造成的，可採用變化的學習速率或自適應的學習速率加以改進。
其次，BP演算法可以使權值收斂到某個值，但並不保證其為誤差平面的全局最小值，這是因為採用梯度下降法可能產生一個局部最小值。對於這個問題，可以採用附加動量法來解決。
再次，網路隱含層的層數和單元數的選擇尚無理論上的指導，一般是根據經驗或者通過反復實驗確定。因此，網路往往存在很大的冗餘性，在一定程度上也增加了網路學習的負擔。
最後，網路的學習和記憶具有不穩定性。也就是說，如果增加了學習樣本，訓練好的網路就需要從頭開始訓練，對於以前的權值和閾值是沒有記憶的。但是可以將預測、分類或聚類做的比較好的權值保存。

Ⅸ BP人工神經網路方法

（一）方法原理

人工神經網路是由大量的類似人腦神經元的簡單處理單元廣泛地相互連接而成的復雜的網路系統。理論和實踐表明，在信息處理方面，神經網路方法比傳統模式識別方法更具有優勢。人工神經元是神經網路的基本處理單元，其接收的信息為x₁，x₂，…，x_n，而ω_ij表示第i個神經元到第j個神經元的連接強度或稱權重。神經元的輸入是接收信息X＝（x₁，x₂，…，x_n）與權重W＝｛ω_ij｝的點積，將輸入與設定的某一閾值作比較，再經過某種神經元激活函數f的作用，便得到該神經元的輸出O_i。常見的激活函數為Sigmoid型。人工神經元的輸入與輸出的關系為

地球物理勘探概論

式中：x_i為第i個輸入元素，即n維輸入矢量X的第i個分量；ω_i為第i個輸入與處理單元間的互聯權重；θ為處理單元的內部閾值；y為處理單元的輸出。

常用的人工神經網路是BP網路，它由輸入層、隱含層和輸出層三部分組成。BP演算法是一種有監督的模式識別方法，包括學習和識別兩部分，其中學習過程又可分為正向傳播和反向傳播兩部分。正向傳播開始時，對所有的連接權值置隨機數作為初值，選取模式集的任一模式作為輸入，轉向隱含層處理，並在輸出層得到該模式對應的輸出值。每一層神經元狀態隻影響下一層神經元狀態。此時，輸出值一般與期望值存在較大的誤差，需要通過誤差反向傳遞過程，計算模式的各層神經元權值的變化量

。這個過程不斷重復，直至完成對該模式集所有模式的計算，產生這一輪訓練值的變化量Δω_ij。在修正網路中各種神經元的權值後，網路重新按照正向傳播方式得到輸出。實際輸出值與期望值之間的誤差可以導致新一輪的權值修正。正向傳播與反向傳播過程循環往復，直到網路收斂，得到網路收斂後的互聯權值和閾值。

（二）BP神經網路計算步驟

（1）初始化連接權值和閾值為一小的隨機值，即W（0）＝任意值，θ（0）＝任意值。

（2）輸入一個樣本X。

（3）正向傳播，計算實際輸出，即根據輸入樣本值、互聯權值和閾值，計算樣本的實際輸出。其中輸入層的輸出等於輸入樣本值，隱含層和輸出層的輸入為

地球物理勘探概論

輸出為

地球物理勘探概論

式中：f為閾值邏輯函數，一般取Sigmoid函數，即

地球物理勘探概論

式中：θ_j表示閾值或偏置；θ₀的作用是調節Sigmoid函數的形狀。較小的θ₀將使Sigmoid函數逼近於閾值邏輯單元的特徵，較大的θ₀將導致Sigmoid函數變平緩，一般取θ₀＝1。

（4）計算實際輸出與理想輸出的誤差

地球物理勘探概論

式中：t_pk為理想輸出；O_pk為實際輸出；p為樣本號；k為輸出節點號。

（5）誤差反向傳播，修改權值

地球物理勘探概論

式中：

地球物理勘探概論

地球物理勘探概論

（6）判斷收斂。若誤差小於給定值，則結束，否則轉向步驟（2）。

（三）塔北雅克拉地區BP神經網路預測實例

以塔北雅克拉地區S4井為已知樣本，取氧化還原電位，放射性元素Rn、Th、Tc、U、K和地震反射

構造面等7個特徵為識別的依據。

構造面反映了局部構造的起伏變化，其局部隆起部位應是油氣運移和富集的有利部位，它可以作為判斷含油氣性的諸種因素之一。在該地區投入了高精度重磁、土壤微磁、頻譜激電等多種方法，一些參數未入選為判別的特徵參數，是因為某些參數是相關的。在使用神經網路方法判別之前，還採用K-L變換（Karhaem-Loeve）來分析和提取特徵。

S4井位於測區西南部5線25點，是區內唯一已知井。該井在5390.6m的侏羅系地層獲得40.6m厚的油氣層，在5482m深的震旦系地層中獲58m厚的油氣層。取S4井周圍9個點，即4～6線的23～25 點作為已知油氣的訓練樣本；由於區內沒有未見油的鑽井，只好根據地質資料分析，選取14～16線的55～57點作為非油氣的訓練樣本。BP網路學習迭代17174次，總誤差為0.0001，學習效果相當滿意。以學習後的網路進行識別，得出結果如圖6-2-4所示。

圖6-2-4 塔北雅克拉地區BP神經網路聚類結果

（據劉天佑等，1997）

由圖6-2-4可見，由預測值大於0.9可得5個大封閉圈遠景區，其中測區南部①號遠景區對應著已知油井S4井；②、③號油氣遠景區位於地震勘探所查明的托庫1、2號構造，該兩個構造位於沙雅隆起的東段，其西段即為1984年鑽遇高產油氣流的Sch2井，應是含油氣性好的遠景區；④、⑤號遠景區位於大澇壩構造，是yh油田的組成部分。

Ⅹ ga-bp演算法在股票預測中的優缺點

嗯。這個演算法我曾經在參加全國計算機模擬大賽時用到過。股票預測這個太復雜了，不管用什麼演算法，都是可能預測到的。但是對於GA—BPNN演算法呢，主要應用的具體問題無法建模的情況下，只能採用這種基於統計數據的智能建模方法，GA—BPNN的優缺點：你可以到學術網站下載幾篇論文，學習一下。