bp演算法壓縮感知

㈠ BP演算法、BP神經網路、遺傳演算法、神經網路這四者之間的關系

這四個都屬於人工智慧演算法的范疇。其中BP演算法、BP神經網路和神經網路
屬於神經網路這個大類。遺傳演算法為進化演算法這個大類。
神經網路模擬人類大腦神經計算過程，可以實現高度非線性的預測和計算，主要用於非線性擬合，識別，特點是需要「訓練」，給一些輸入，告訴他正確的輸出。若干次後，再給新的輸入，神經網路就能正確的預測對於的輸出。神經網路廣泛的運用在模式識別，故障診斷中。BP演算法和BP神經網路是神經網路的改進版，修正了一些神經網路的缺點。
遺傳演算法屬於進化演算法，模擬大自然生物進化的過程：優勝略汰。個體不斷進化，只有高質量的個體（目標函數最小（大））才能進入下一代的繁殖。如此往復，最終找到全局最優值。遺傳演算法能夠很好的解決常規優化演算法無法解決的高度非線性優化問題，廣泛應用在各行各業中。差分進化，蟻群演算法，粒子群演算法等都屬於進化演算法，只是模擬的生物群體對象不一樣而已。

㈡ BP神經網路和感知器有什麼區別

1、發展背景不同：

感知器是Frank Rosenblatt在1957年所發明的一種人工神經網路，可以被視為一種最簡單形式的前饋式人工神經網路，是一種二元線性分類器。

而BP神經網路發展於20世紀80年代中期，David Runelhart。Geoffrey Hinton和Ronald W-llians、DavidParker等人分別獨立發現了誤差反向傳播演算法，簡稱BP，系統解決了多層神經網路隱含層連接權學習問題，並在數學上給出了完整推導。

2、結構不同：

BP網路是在輸入層與輸出層之間增加若干層(一層或多層)神經元，這些神經元稱為隱單元，它們與外界沒有直接的聯系，但其狀態的改變，則能影響輸入與輸出之間的關系，每一層可以有若干個節點。

感知器也被指為單層的人工神經網路，以區別於較復雜的多層感知器（Multilayer Perceptron）。 作為一種線性分類器，（單層）感知器可說是最簡單的前向人工神經網路形式。

3、演算法不同：

BP神經網路的計算過程由正向計算過程和反向計算過程組成。正向傳播過程，輸入模式從輸入層經隱單元層逐層處理，並轉向輸出層，每層神經元的狀態隻影響下一層神經元的狀態。感知器使用特徵向量來表示的前饋式人工神經網路，它是一種二元分類器，輸入直接經過權重關系轉換為輸出。

㈢ bp演算法是什麼

誤差反向傳播演算法：

BP演算法的基本思想是，學習過程包括兩個過程：信號前向傳播和誤差後向傳播。

（1）前向傳播:輸入樣本->輸入層->各隱層(處理)->輸出層。

（2）錯誤反向傳播:輸出錯誤(某種形式)->隱藏層(逐層)->輸入層。

BP演算法基本介紹：

多層隱含層前饋網路可以極大地提高神經網路的分類能力，但長期以來一直沒有提出解決權值調整問題的博弈演算法。

1986年，Rumelhart和McCelland領導的科學家團隊出版了《並行分布式處理》一書，詳細分析了具有非線性連續傳遞函數的多層前饋網路的誤差反向比例（BP）演算法，實現了Minsky關於多層網路的思想。由於誤差的反向傳播演算法常用於多層前饋網路的訓練，人們常直接稱多層前饋網路為BP網路。

㈣ 關於BP演算法，真正明白BP演算法的進！

一、隱藏層顧名思義，他的輸出者就是給別的層使用的，一般隱藏著不給人看。
二、干什麼用的……這個都可以從AI發展史來說了，就是早期的神經網路是單層，於是有人證明這種的學習能力有限，有些問題，比如異或就不能解決，後來，就有人提出了多層神經網路，增強了神經網路的學習能力。其中非輸出層都是隱藏層（好像是這樣），最根本的作用就是增加神經網路的學習能力。最直接的作用就是把接收到的輸入信號產生一個輸出給下一層。

㈤ bp演算法在深度神經網路上為什麼行不通

BP演算法作為傳統訓練多層網路的典型演算法，實際上對僅含幾層網路，該訓練方法就已經很不理想，不再往下進行計算了，所以不適合深度神經網路。

BP演算法存在的問題：

（1）梯度越來越稀疏：從頂層越往下，誤差校正信號越來越小。

（2）收斂到局部最小值：尤其是從遠離最優區域開始的時候（隨機值初始化會導致這種情況的發生）。

（3）一般，我們只能用有標簽的數據來訓練：但大部分的數據是沒標簽的，而大腦可以從沒有標簽的的數據中學習。

深度神經網路的特點：

多層的好處是可以用較少的參數表示復雜的函數。

在監督學習中，以前的多層神經網路的問題是容易陷入局部極值點。如果訓練樣本足夠充分覆蓋未來的樣本，那麼學到的多層權重可以很好的用來預測新的測試樣本。

非監督學習中，以往沒有有效的方法構造多層網路。多層神經網路的頂層是底層特徵的高級表示，比如底層是像素點，上一層的結點可能表示橫線，三角； 而頂層可能有一個結點表示人臉。一個成功的演算法應該能讓生成的頂層特徵最大化的代表底層的樣例。

如果對所有層同時訓練，時間復雜度會太高； 如果每次訓練一層，偏差就會逐層傳遞。這會面臨跟上面監督學習中相反的問題，會嚴重欠擬合。