fisher线性判别算法

‘壹’ 什么是Fisher线性判据

Fisher线性鉴别分析的理论研究及其应用
杨健,杨静宇,叶晖
Fisher线性鉴别分析已成为特征抽取的最为有效的方法之一 .但是在高维、小样本情况下如何抽取Fisher最优鉴别特征仍是一个困难的、至今没有彻底解决的问题 .文中引入压缩映射和同构映射的思想 ,从理论上巧妙地解决了高维、奇异情况下最优鉴别矢量集的求解问题 ,而且该方法求解最优鉴别矢量集的全过程只需要在一个低维的变换空间内进行 ,这与传统方法相比极大地降低了计算量 .在此理论基础上 ,进一步为高维、小样本情况下的最优鉴别分析方法建立了一个通用的算法框架 ,即先作K L变换 ,再用Fisher鉴别变换作二次特征抽取 .基于该算法框架 ,提出了组合线性鉴别法 ,该方法综合利用了F S鉴别和J Y鉴别的优点 ,同时消除了二者的弱点 .在ORL标准人脸库上的试验表明 ,组合鉴别法所抽取的特征在普通的最小距离分类器和最近邻分类器下均达到 97%的正确识别率 ,而且识别结果十分稳定 .该结果大大优于经典的特征脸和Fisherfaces方法的识别结果
【作者单位】：南京理工大学计算机科学系 南京210094 (杨健;杨静宇);南京理工大学计算机科学系 南京210094(叶晖)
【关键词】：Fisher鉴别准则;线性鉴别分析;FoleySammon线性鉴别分析;组合线性鉴别分析;高维小样本问题;人脸识别
【基金】：国家自然科学基金 (6 0 0 72 0 34)资助~~
【分类号】：TP391.4
【DOI】：cnki:ISSN:0254-4156.0.2003-04-000
【正文快照】：
1 引言众所周知 ,基于Fisher准则的线性鉴别已被公认为特征抽取的最好方法之一 .基于Fisher准则的鉴别分析方法有三种最为基本的方法 :1 )Wilks等创立经典Fisher鉴别法[1,2 ] ,近年来Swets[3 ] ,Belhumeur[4 ] 和Liu[5 ] 等用其来解决人脸识别问题 ;2 )由Foley和Sammon建立起来的F S线性鉴别法[6] ,后来Duchene[7] 等进一步拓展了这一方法 ,Tian等[8] 将其用在图像识别领域 ;3)最近由JinandYang等提出的具有统计不相关性的J Y线性鉴别法[9] .我们对方法 3)做了进一步的研究[10 ] ,指出J Y线性鉴别法是经典的Fisher鉴别法的发展 .但…

详细的看这边
http://www.cnki.com.cn/Article/CJFDTotal-MOTO200304000.htm

‘贰’ Bayes判别法与Fisher判别法联系与区别

至今还难以评价哪一种判别方法最好，此处仅对Bayes判别法与Fisher判别法作比较。（1）当k个总体的均值向量 共线性程度较高时，Fisher判别法可用较少的判别函数进行判别，因而比Bayes判别法简单。另外，Fisher判别法未对总体的分布提出什么特定的要求。
（2）Fisher判别法的不足是它不考虑各总体出现概率的大小，也给不出预报的后验概率及错判率的估计以及错判之后造成的损失。而这些不足恰是Bayes判别法的优点，但值得指出的是，如果给定的先验概率不符合客观实际时，Bayes判别法也可能会导致错误的结论。
4 各判别法之间的关系
在上述判别法中，只要满足一些必要的条件，它们将是等价的。
（1）在正态等协差阵的条件下，Bayes线性判别函数（在不考虑先验概率 的影响）等价于距离判别准则。因此Bayes线性判别法与距离判别法是等价的。
（2）不加权的Fisher判别法等价于距离判别法，因此在等协差阵条件下，Bayes线性判别法、Fisher线性判别法与距离判别法三者是等价的。（理论上可以说明Bayes线性判别函数在总体是非正态时也适用，只不过丧失正态性后，Bayes判别法具有的平均错判率最小的性质就不一定存在了）。

‘叁’ 信号与系统，线性判断

判断系统是否为线性就看信号是否满足可叠加性。

如果输入x1[n]->y1[n]， x2[n]->y2[n]，

而当输入为x3[n]=a x1[n]+b x2[n]时，若输出y3[n]=a y1[n]+b y2[n],则该系统为线性的。

故：

v1[n]=y1[n+1]+(n^2)y1[n]

v2[n]=y2[n+1]+(n^2)y2[n]

另v3[n]=a v1[n]+b v2[n]

则v3[n]=y3[n+1]+(n^2)y3[n]

=a(y1[n+1]+(n^2)y1[n])+b(y2[n+1]+(n^2)y2[n])

=ay1[n+1]+by2[n+1]+(n^2)(a y1[n]+b y2[n])

所以得到：

y3[n]=a y1[n]+b y2[n]

所以系统是线性的。

(3)fisher线性判别算法扩展阅读：

线性判别分析这种方法使用统计学，模式识别和机器学习方法，试图找到两类物体或事件的特征的一个线性组合，以能够特征化或区分它们。所得的组合可用来作为一个线性分类器，或者，更常见的是，为后续的分类做降维处理。

是一种经典的线性学习方法，在二分类问题上最早由Fisher在1936年提出，亦称Fisher线性判别。线性判别的思想非常朴素：给定训练样例集，设法将样例投影到一条直线上，使得同类样例的投影点尽可能接近，异样样例的投影点尽可能远离。

在对新样本进行分类时，将其投影到同样的直线上，再根据投影点的位置来确定新样本的类别。LDA与方差分析（ANOVA）和回归分析紧密相关，这两种分析方法也试图通过一些特征或测量值的线性组合来表示一个因变量。

然而，方差分析使用类别自变量和连续数因变量，而判别分析连续自变量和类别因变量（即类标签）。逻辑回归和概率回归比方差分析更类似于LDA，因为他们也是用连续自变量来解释类别因变量的。

LDA的基本假设是自变量是正态分布的，当这一假设无法满足时，在实际应用中更倾向于用上述的其他方法。LDA也与主成分分析（PCA）和因子分析紧密相关，它们都在寻找最佳解释数据的变量线性组合。LDA明确的尝试为数据类之间不同建立模型。

模式识别又常称作模式分类，从处理问题的性质和解决问题的方法等角度，模式识别分为有监督的分类和无监督的分类两种。二者的主要差别在于，各实验样本所属的类别是否预先已知。一般说来，有监督的分类往往需要提供大量已知类别的样本。

模式还可分成抽象的和具体的两种形式。前者如意识、思想、议论等，属于概念识别研究的范畴，是人工智能的另一研究分支。我们所指的模式识别主要是对语音波形、地震波、心电图、脑电图、图片、照片、文字、符号、生物传感器等对象的具体模式进行辨识和分类。

参考资料：线性判别分析_网络

‘肆’ 用Fisher线性判别方法和SVM线性分类面法求两类样本的分类面

关于SVM，SVM就是一个二类分类的方法，SVM最开始讲的就是两类分类的分类面，这是最基础的。可以在网上搜具体步骤和推导过程，还有相关代码

‘伍’ 潜在狄利克雷分配和线性判别分析是不是同一个

不是同一个东西。
第一个是用于自然语言分析的隐主题模型。LDA是一种文档主题生成模型，也称为一个三层贝叶斯概率模型，包含词、主题和文档三层结构。文档到主题服从Dirichlet分布，主题到词服从多项式分布。
第二个线性判别式分析（Linear Discriminant Analysis），简称为LDA。也称为Fisher线性判别（Fisher Linear Discriminant，FLD），是模式识别的经典算法，在1996年由Belhumeur引入模式识别和人工智能领域。
基本思想是将高维的模式样本投影到最佳鉴别矢量空间，以达到抽取分类信息和压缩特征空间维数的效果，投影后保证模式样本在新的子空间有最大的类间距离和最小的类内距离，即模式在该空间中有最佳的可分离性。

‘陆’ 欧氏距离判别法，马氏距离判别法和Fisher判别法的优缺点有哪些

综述如下：

1、欧氏距离（Euclidean distance）也称欧几里得度量、欧几里得度量，是一个通常采用的距离定义，它是在m维空间中两个点之间的真实距离。在二维和三维空间中的欧氏距离的就是两点之间的距离。

缺点：就大部分统计问题而言，欧氏距离是不能令人满意的。（每个坐标对欧氏距离的贡献是同等的。当坐标表示测量值时，它们往往带有大小不等的随机波动，在这种情况下，合理的方法是对坐标加权，使变化较大的坐标比变化较小的坐标有较小的权系数，这就产生了各种距离。

当各个分量为不同性质的量时，“距离”的大小与指标的单位有关。它将样品的不同属性（即各指标或各变量）之间的差别等同看待，这一点有时不能满足实际要求。没有考虑到总体变异对距离远近的影响。

2、马氏距离是由印度统计学家马哈拉诺比斯提出的，表示数据的协方差距离。为两个服从同一分布并且其协方差矩阵为Σ的随机变量与的差异程度：如果协方差矩阵为单位矩阵，那么马氏距离就简化为欧氏距离，如果协方差矩阵为对角阵，则其也可称为正规化的欧氏距离。

它是一种有效的计算两个未知样本集的相似度的方法。对于一个均值为μ，协方差矩阵为Σ的多变量向量，样本与总体的马氏距离为（dm)^2=(x-μ）＇Σ＾（－1)(x-μ）。在绝大多数情况下，马氏距离是可以顺利计算的，但是马氏距离的计算是不稳定的，不稳定的来源是协方差矩阵，这也是马氏距离与欧式距离的最大差异之处。

优点：它不受量纲的影响，两点之间的马氏距离与原始数据的测量单位无关。（它考虑到各种特性之间的联系（例如：一条关于身高的信息会带来一条关于体重的信息，因为两者是有关联的）并且是尺度无关的（scale-invariant)，即独立于测量尺度）；由标准化数据和中心化数据（即原始数据与均值之差）计算出的二点之间的马氏距离相同。马氏距离还可以排除变量之间的相关性的干扰。

缺点：夸大了变化微小的变量的作用。受协方差矩阵不稳定的影响，马氏距离并不总是能顺利计算出。

马氏与欧式距离的比较：

1、马氏距离的计算是建立在总体样本的基础上的，这一点可以从上述协方差矩阵的解释中可以得出，也就是说，如果拿同样的两个样本，放入两个不同的总体中，最后计算得出的两个样本间的马氏距离通常是不相同的，除非这两个总体的协方差矩阵碰巧相同；

2、在计算马氏距离过程中，要求总体样本数大于样本的维数，否则得到的总体样本协方差矩阵逆矩阵不存在，这种情况下，用欧氏距离计算即可。