fisher線性判別演算法

『壹』 什麼是Fisher線性判據

Fisher線性鑒別分析的理論研究及其應用
楊健,楊靜宇,葉暉
Fisher線性鑒別分析已成為特徵抽取的最為有效的方法之一 .但是在高維、小樣本情況下如何抽取Fisher最優鑒別特徵仍是一個困難的、至今沒有徹底解決的問題 .文中引入壓縮映射和同構映射的思想 ,從理論上巧妙地解決了高維、奇異情況下最優鑒別矢量集的求解問題 ,而且該方法求解最優鑒別矢量集的全過程只需要在一個低維的變換空間內進行 ,這與傳統方法相比極大地降低了計算量 .在此理論基礎上 ,進一步為高維、小樣本情況下的最優鑒別分析方法建立了一個通用的演算法框架 ,即先作K L變換 ,再用Fisher鑒別變換作二次特徵抽取 .基於該演算法框架 ,提出了組合線性鑒別法 ,該方法綜合利用了F S鑒別和J Y鑒別的優點 ,同時消除了二者的弱點 .在ORL標准人臉庫上的試驗表明 ,組合鑒別法所抽取的特徵在普通的最小距離分類器和最近鄰分類器下均達到 97%的正確識別率 ,而且識別結果十分穩定 .該結果大大優於經典的特徵臉和Fisherfaces方法的識別結果
【作者單位】：南京理工大學計算機科學系 南京210094 (楊健;楊靜宇);南京理工大學計算機科學系 南京210094(葉暉)
【關鍵詞】：Fisher鑒別准則;線性鑒別分析;FoleySammon線性鑒別分析;組合線性鑒別分析;高維小樣本問題;人臉識別
【基金】：國家自然科學基金 (6 0 0 72 0 34)資助~~
【分類號】：TP391.4
【DOI】：cnki:ISSN:0254-4156.0.2003-04-000
【正文快照】：
1 引言眾所周知 ,基於Fisher准則的線性鑒別已被公認為特徵抽取的最好方法之一 .基於Fisher准則的鑒別分析方法有三種最為基本的方法 :1 )Wilks等創立經典Fisher鑒別法[1,2 ] ,近年來Swets[3 ] ,Belhumeur[4 ] 和Liu[5 ] 等用其來解決人臉識別問題 ;2 )由Foley和Sammon建立起來的F S線性鑒別法[6] ,後來Duchene[7] 等進一步拓展了這一方法 ,Tian等[8] 將其用在圖像識別領域 ;3)最近由JinandYang等提出的具有統計不相關性的J Y線性鑒別法[9] .我們對方法 3)做了進一步的研究[10 ] ,指出J Y線性鑒別法是經典的Fisher鑒別法的發展 .但…

詳細的看這邊
http://www.cnki.com.cn/Article/CJFDTotal-MOTO200304000.htm

『貳』 Bayes判別法與Fisher判別法聯系與區別

至今還難以評價哪一種判別方法最好，此處僅對Bayes判別法與Fisher判別法作比較。（1）當k個總體的均值向量 共線性程度較高時，Fisher判別法可用較少的判別函數進行判別，因而比Bayes判別法簡單。另外，Fisher判別法未對總體的分布提出什麼特定的要求。
（2）Fisher判別法的不足是它不考慮各總體出現概率的大小，也給不出預報的後驗概率及錯判率的估計以及錯判之後造成的損失。而這些不足恰是Bayes判別法的優點，但值得指出的是，如果給定的先驗概率不符合客觀實際時，Bayes判別法也可能會導致錯誤的結論。
4 各判別法之間的關系
在上述判別法中，只要滿足一些必要的條件，它們將是等價的。
（1）在正態等協差陣的條件下，Bayes線性判別函數（在不考慮先驗概率 的影響）等價於距離判別准則。因此Bayes線性判別法與距離判別法是等價的。
（2）不加權的Fisher判別法等價於距離判別法，因此在等協差陣條件下，Bayes線性判別法、Fisher線性判別法與距離判別法三者是等價的。（理論上可以說明Bayes線性判別函數在總體是非正態時也適用，只不過喪失正態性後，Bayes判別法具有的平均錯判率最小的性質就不一定存在了）。

『叄』 信號與系統，線性判斷

判斷系統是否為線性就看信號是否滿足可疊加性。

如果輸入x1[n]->y1[n]， x2[n]->y2[n]，

而當輸入為x3[n]=a x1[n]+b x2[n]時，若輸出y3[n]=a y1[n]+b y2[n],則該系統為線性的。

故：

v1[n]=y1[n+1]+(n^2)y1[n]

v2[n]=y2[n+1]+(n^2)y2[n]

另v3[n]=a v1[n]+b v2[n]

則v3[n]=y3[n+1]+(n^2)y3[n]

=a(y1[n+1]+(n^2)y1[n])+b(y2[n+1]+(n^2)y2[n])

=ay1[n+1]+by2[n+1]+(n^2)(a y1[n]+b y2[n])

所以得到：

y3[n]=a y1[n]+b y2[n]

所以系統是線性的。

(3)fisher線性判別演算法擴展閱讀：

線性判別分析這種方法使用統計學，模式識別和機器學習方法，試圖找到兩類物體或事件的特徵的一個線性組合，以能夠特徵化或區分它們。所得的組合可用來作為一個線性分類器，或者，更常見的是，為後續的分類做降維處理。

是一種經典的線性學習方法，在二分類問題上最早由Fisher在1936年提出，亦稱Fisher線性判別。線性判別的思想非常樸素：給定訓練樣例集，設法將樣例投影到一條直線上，使得同類樣例的投影點盡可能接近，異樣樣例的投影點盡可能遠離。

在對新樣本進行分類時，將其投影到同樣的直線上，再根據投影點的位置來確定新樣本的類別。LDA與方差分析（ANOVA）和回歸分析緊密相關，這兩種分析方法也試圖通過一些特徵或測量值的線性組合來表示一個因變數。

然而，方差分析使用類別自變數和連續數因變數，而判別分析連續自變數和類別因變數（即類標簽）。邏輯回歸和概率回歸比方差分析更類似於LDA，因為他們也是用連續自變數來解釋類別因變數的。

LDA的基本假設是自變數是正態分布的，當這一假設無法滿足時，在實際應用中更傾向於用上述的其他方法。LDA也與主成分分析（PCA）和因子分析緊密相關，它們都在尋找最佳解釋數據的變數線性組合。LDA明確的嘗試為數據類之間不同建立模型。

模式識別又常稱作模式分類，從處理問題的性質和解決問題的方法等角度，模式識別分為有監督的分類和無監督的分類兩種。二者的主要差別在於，各實驗樣本所屬的類別是否預先已知。一般說來，有監督的分類往往需要提供大量已知類別的樣本。

模式還可分成抽象的和具體的兩種形式。前者如意識、思想、議論等，屬於概念識別研究的范疇，是人工智慧的另一研究分支。我們所指的模式識別主要是對語音波形、地震波、心電圖、腦電圖、圖片、照片、文字、符號、生物感測器等對象的具體模式進行辨識和分類。

參考資料：線性判別分析_網路

『肆』 用Fisher線性判別方法和SVM線性分類面法求兩類樣本的分類面

關於SVM，SVM就是一個二類分類的方法，SVM最開始講的就是兩類分類的分類面，這是最基礎的。可以在網上搜具體步驟和推導過程，還有相關代碼

『伍』 潛在狄利克雷分配和線性判別分析是不是同一個

不是同一個東西。
第一個是用於自然語言分析的隱主題模型。LDA是一種文檔主題生成模型，也稱為一個三層貝葉斯概率模型，包含詞、主題和文檔三層結構。文檔到主題服從Dirichlet分布，主題到詞服從多項式分布。
第二個線性判別式分析（Linear Discriminant Analysis），簡稱為LDA。也稱為Fisher線性判別（Fisher Linear Discriminant，FLD），是模式識別的經典演算法，在1996年由Belhumeur引入模式識別和人工智慧領域。
基本思想是將高維的模式樣本投影到最佳鑒別矢量空間，以達到抽取分類信息和壓縮特徵空間維數的效果，投影後保證模式樣本在新的子空間有最大的類間距離和最小的類內距離，即模式在該空間中有最佳的可分離性。

『陸』 歐氏距離判別法，馬氏距離判別法和Fisher判別法的優缺點有哪些

綜述如下：

1、歐氏距離（Euclidean distance）也稱歐幾里得度量、歐幾里得度量，是一個通常採用的距離定義，它是在m維空間中兩個點之間的真實距離。在二維和三維空間中的歐氏距離的就是兩點之間的距離。

缺點：就大部分統計問題而言，歐氏距離是不能令人滿意的。（每個坐標對歐氏距離的貢獻是同等的。當坐標表示測量值時，它們往往帶有大小不等的隨機波動，在這種情況下，合理的方法是對坐標加權，使變化較大的坐標比變化較小的坐標有較小的權系數，這就產生了各種距離。

當各個分量為不同性質的量時，「距離」的大小與指標的單位有關。它將樣品的不同屬性（即各指標或各變數）之間的差別等同看待，這一點有時不能滿足實際要求。沒有考慮到總體變異對距離遠近的影響。

2、馬氏距離是由印度統計學家馬哈拉諾比斯提出的，表示數據的協方差距離。為兩個服從同一分布並且其協方差矩陣為Σ的隨機變數與的差異程度：如果協方差矩陣為單位矩陣，那麼馬氏距離就簡化為歐氏距離，如果協方差矩陣為對角陣，則其也可稱為正規化的歐氏距離。

它是一種有效的計算兩個未知樣本集的相似度的方法。對於一個均值為μ，協方差矩陣為Σ的多變數向量，樣本與總體的馬氏距離為（dm)^2=(x-μ）＇Σ＾（－1)(x-μ）。在絕大多數情況下，馬氏距離是可以順利計算的，但是馬氏距離的計算是不穩定的，不穩定的來源是協方差矩陣，這也是馬氏距離與歐式距離的最大差異之處。

優點：它不受量綱的影響，兩點之間的馬氏距離與原始數據的測量單位無關。（它考慮到各種特性之間的聯系（例如：一條關於身高的信息會帶來一條關於體重的信息，因為兩者是有關聯的）並且是尺度無關的（scale-invariant)，即獨立於測量尺度）；由標准化數據和中心化數據（即原始數據與均值之差）計算出的二點之間的馬氏距離相同。馬氏距離還可以排除變數之間的相關性的干擾。

缺點：誇大了變化微小的變數的作用。受協方差矩陣不穩定的影響，馬氏距離並不總是能順利計算出。

馬氏與歐式距離的比較：

1、馬氏距離的計算是建立在總體樣本的基礎上的，這一點可以從上述協方差矩陣的解釋中可以得出，也就是說，如果拿同樣的兩個樣本，放入兩個不同的總體中，最後計算得出的兩個樣本間的馬氏距離通常是不相同的，除非這兩個總體的協方差矩陣碰巧相同；

2、在計算馬氏距離過程中，要求總體樣本數大於樣本的維數，否則得到的總體樣本協方差矩陣逆矩陣不存在，這種情況下，用歐氏距離計算即可。