感知器演算法的目標函數

A. 神經網路演算法原理

4.2.1 概述

人工神經網路的研究與計算機的研究幾乎是同步發展的。1943年心理學家McCulloch和數學家Pitts合作提出了形式神經元的數學模型，20世紀50年代末，Rosenblatt提出了感知器模型，1982年，Hopfiled引入了能量函數的概念提出了神經網路的一種數學模型，1986年，Rumelhart及LeCun等學者提出了多層感知器的反向傳播演算法等。

神經網路技術在眾多研究者的努力下，理論上日趨完善，演算法種類不斷增加。目前，有關神經網路的理論研究成果很多，出版了不少有關基礎理論的著作，並且現在仍是全球非線性科學研究的熱點之一。

神經網路是一種通過模擬人的大腦神經結構去實現人腦智能活動功能的信息處理系統，它具有人腦的基本功能，但又不是人腦的真實寫照。它是人腦的一種抽象、簡化和模擬模型，故稱之為人工神經網路（邊肇祺，2000）。

人工神經元是神經網路的節點，是神經網路的最重要組成部分之一。目前，有關神經元的模型種類繁多，最常用最簡單的模型是由閾值函數、Sigmoid 函數構成的模型（圖 4-3）。

儲層特徵研究與預測

以上演算法是對每個樣本作權值修正，也可以對各個樣本計算δ_j後求和，按總誤差修正權值。

B. 感知器演算法VC

//判斷是否需要修改
for (j=0;j<M0;j++)
{
if ((j!=i)&&(didenfy[i]<=didenfy[j]))
{
//需要修改
modify=1;
break;
}
}
當你找到第一個需要修改的地方時你就break；了
也就是說你若是第一次出現問題是在m的話，m+1,m+2...M0都不會去檢查了，
建議外面加以while循環，或者做成函數

C. 什麼是最小均方(LMS)演算法

全稱 Least mean square 演算法。中文是最小均方演算法。
感知器和自適應線性元件在歷史上幾乎是同時提出的，並且兩者在對權值的調整的演算法非常相似。它們都是基於糾錯學習規則的學習演算法。感知器演算法存在如下問題：不能推廣到一般的前向網路中；函數不是線性可分時，得不出任何結果。而由美國斯坦福大學的Widrow和Hoff在研究自適應理論時提出的LMS演算法，由於其容易實現而很快得到了廣泛應用，成為自適應濾波的標准演算法。
LMS演算法步驟：
1,、設置變數和參量：
X(n)為輸入向量，或稱為訓練樣本
W(n)為權值向量
b(n)為偏差
d(n)為期望輸出
y(n)為實際輸出
η為學習速率
n為迭代次數
2、初始化，賦給w(0)各一個較小的隨機非零值，令n=0
3、對於一組輸入樣本x(n)和對應的期望輸出d，計算
e(n)=d(n)-X^T(n)W(n)
W(n+1)=W(n)+ηX(n)e(n)
4、判斷是否滿足條件，若滿足演算法結束，若否n增加1，轉入第3步繼續執行。

D. 試用感知器演算法求出分類決策函數，並判斷 x6 =t 屬於 哪一類

其實HK演算法思想很朴實,就是在最小均方誤差准則下求得權矢量. 他相對於感知器演算法的優點在於,他適用於線性可分和非線性可分得情況,對於線性可分的情況,給出最優權矢量,對於非線性可分得情況,能夠判別出來,以退出迭代過程. 2.在程序編制過程中

E. 歷史上第一個機器學習演算法是什麼

Adaboost是一種迭代演算法，其核心思想是針對同一個訓練集訓練不同的分類器(弱分類器)，然後把這些弱分類器集合起來，構成一個更強的最終分類器(強分類器)。其演算法本身是通過改變數據分布來實現的，它根據每次訓練集之中每個樣本的分類是否正確，以及上次的總體分類的准確率，來確定每個樣本的權值。將修改過權值的新數據集送給下層分類器進行訓練，最後將每次訓練得到的分類器最後融合起來，作為最後的決策分類器。使用adaboost分類器可以排除一些不必要的訓練數據特徵，並將關鍵放在關鍵的訓練數據上面。

F. matlab中有沒有感知器演算法的函數

clear all
%輸入向量，兩種蠓蟲的特徵向量
p=[1.24 1.36 1.38 1.378 1.38 1.40 1.48 1.54 1.56 1.14 1.18 1.20 1.26 1.28 ...
1.30;1.72 1.74 1.64 1.82 1.90 1.70 1.70 1.82 2.08 1.78 1.96 1.86 2.00 2.00 1.96];
%目標向量
t=[1 1 1 1 1 1 1 1 1 0 0 0 0 0 0];
%創建感知器網路
net=newp([0 2.5;0 2.5],1);
figure;
cla;
plotpv(p,t);
plotpc(net.IW{1},net.b{1});
hold on;
%訓練該感知器網路
net=init(net);
linehandle=plotpc(net.IW{1},net.b{1});
pause
[net,y,e]=adapt(net,p,t);
linehandle=plotpc(net.IW{1},net.b{1},linehandle);
%檢驗該感知器網路
p1=[1.24 1.28 1.40;1.80 1.84 2.04];
a=sim(net,p1);
figure;
plotpv(p1,a);
Thepoint=findobj(gca,'type','line');
set(Thepoint,'color','red');
hold on;
plotpv(p,t);
plotpc(net.IW{1},net.b{1});
hold off;
pause

G. 機器學習中的感知器演算法的收斂情況

一般實際應用的時候結果不需要那麼高的精度，所以收斂會快很多。稍微試幾下，打中8~9環就差不多，要打到10環得練好久

H. 感知器演算法對非線性可分樣本進行訓練時，為什麼訓練迭代過程不收斂，怎麼解決

你用的是什麼挖掘技術，是神經網路還是SVM。
如果是SVM，核函數試試換成非線性的，有些SVM的代碼默認執行線性分類核函數；
如果是神經網路，可以試試將樣本0-1歸一化。

I. 簡述作為分類器的感知器有哪些特點

自從90年代初經典SVM的提出，由於其完整的理論框架和在實際應用中取得的很多好的效果，在機器學習領域受到了廣泛的重視。其理論和應用在橫向和縱向上都有了發展。

理論上：1.模糊支持向量機，引入樣本對類別的隸屬度函數，這樣每個樣本對於類別的影響是不同的，這種理論的應用提高了SVM的抗雜訊的能力，尤其適合在未能完全揭示輸入樣本特性的情況下。

2．最小二乘支持向量機。這種方法是在1999年提出，經過這幾年的發展，已經應用要很多相關的領域。研究的問題已經推廣到：對於大規模數據集的處理；處理數據的魯棒性；參數調節和選擇問題；訓練和模擬。

3．加權支持向量機（有偏樣本的加權，有偏風險加權）。

4．主動學習的支持向量機。主動學習在學習過程中可以根據學習進程，選擇最有利於分類器性能的樣本來進一步訓練分類器，特能有效地減少評價樣本的數量。也就是通過某種標准對樣本對分類的有效性進行排序，然後選擇有效樣本來訓練支持向量機。

5．粗糙集與支持向量機的結合。首先利用粗糙集理論對數據的屬性進行約簡，能在某種程度上減少支持向量機求解計算量。

6．基於決策樹的支持向量機。對於多類問題，採用二岔樹將要分類的樣本集構造出一系列的兩類問題，每個兩類構造一個SVM。

7．分級聚類的支持向量機。基於分級聚類和決策樹思想構建多類svm，使用分級聚類的方法，可以先把n-1個距離較近的類別結合起來，暫時看作一類，把剩下的一類作為單獨的一類，用svm分類，分類後的下一步不再考慮這單獨的一類，而只研究所合並的n-1類，再依次下去。

8．演算法上的提高。

l Vapnik在95年提出了一種稱為」chunking」的塊演算法，即如果刪除矩陣中對應Lagrange乘數為0的行和列，將不會影響最終結果。

l Osuna提出了一種分解演算法，應用於人臉識別領域。

l Joachims在1998年將Osuna提出的分解策略推廣到解決大型SVM學習的演算法

l Platt於1998年提出了序貫最小優化（Sequential Minimal Optimization）每次的工作集中只有2個樣本。

9．核函數的構造和參數的選擇理論研究。基於各個不同的應用領域，可以構造不同的核函數，能夠或多或少的引入領域知識。現在核函數廣泛應用的類型有：多項式逼近、貝葉斯分類器、徑向基函數、多層感知器。參數的選擇現在利用交叉驗證的方法來確認。

10．支持向量機從兩類問題向多類問題的推廣：

n Weston在1998年提出的多類演算法為代表。在經典svm理論的基礎上，直接在目標函數上進行改進，重新構造多值分類模型，建立k分類支持向量機。通過sv方法對新模型的目標函數進行優化，實現多值分類。這類演算法選擇的目標函數十分復雜，變數數目過多，計算復雜度也非常高，實現困難，所以只在小型問題的求解中才能使用。Weston,Multi-class support vector machines

n 一對多（one-against-rest）----- Vapnik提出的,k類---k個分類器，第m個分類器將第m類與其餘的類分開，也就是說將第m類重新標號為1，其他類標號為-1。完成這個過程需要計算k個二次規劃，根據標號將每個樣本分開，最後輸出的是兩類分類器輸出為最大的那一類。不足：容易產生屬於多類別的點（多個1）和沒有被分類的點（標號均為-1）--不對，訓練樣本數據大，訓練困難，推廣誤差無界.

n 一對一（one-against-one）---Kressel 對於任意兩個分類，構造一個分類器，僅識別這兩個分類，完成這個過程需要k(k-1)/2個分類器，計算量是非常龐大的。對於每一個樣本，根據每一個分類器的分類結果，看屬於哪個類別的次數多，最終就屬於哪一類(組合這些兩類分類器並使用投票法，得票最多的類為樣本點所屬的類)。不足：如果單個兩類分類器不規范化，則整個N類分類器將趨向於過學習；推廣誤差無界；分類器的數目K隨類數急劇增加，導致在決策時速度很慢。

n 層（數分類方法），是對一對一方法的改進，將k個分類合並為兩個大類，每個大類裡面再分成兩個子類，如此下去，直到最基本的k個分類，這樣形成不同的層次，每個層次都用svm來進行分類------1對r-1法，構建k-1個分類器，不存在拒絕分類區。

應用上：人臉檢測，汽輪發電機組的故障診斷，分類，回歸，聚類，時間序列預測，系統辨識，金融工程，生物醫信號處理，數據挖掘，生物信息，文本挖掘，自適應信號處理，剪接位點識別，基於支持向量機的資料庫學習演算法，手寫體相似字識別，支持向量機函數擬合在分形插值中的應用，基於支持向量機的慣導初始對准系統，岩爆預測的支持向量機，缺陷識別，計算機鍵盤用戶身份驗證，字幕自動定位於提取，說話人的確認，等等。

主要研究熱點

從上面的發展中，我們可以總結出，目前支持向量機有著幾方面的研究熱點：核函數的構造和參數的選擇；支持向量機從兩類問題向多類問題的推廣；更多的應用領域的推廣；與目前其它機器學習方法的融合；與數據預處理（樣本的重要度，屬性的重要度，特徵選擇等）方面方法的結合，將數據中脫離領域知識的信息，即數據本身的性質融入支持向量機的演算法中從而產生新的演算法；支持向量機訓練演算法的探索。

J. LMS演算法的簡介

全稱 Least mean square 演算法。中文是最小均方演算法。
感知器和自適應線性元件在歷史上幾乎是同時提出的，並且兩者在對權值的調整的演算法非常相似。它們都是基於糾錯學習規則的學習演算法。感知器演算法存在如下問題：不能推廣到一般的前向網路中；函數不是線性可分時，得不出任何結果。而由美國斯坦福大學的Widrow和Hoff在研究自適應理論時提出的LMS演算法，由於其容易實現而很快得到了廣泛應用，成為自適應濾波的標准演算法。