资源描述：
《模式识别fisher线性判别实验》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。
1、实验三Hsher线性判别实验姓名：徐维坚学号:2220103484日期：2012/7/7一、实验目的：1)加深对Fisher线性判别的基本思想的认识和理解。2)编写实现Fisher线性判别准则函数的程序。二、实验原理：1.基本原理：一般情况下，我们总可以找到某个方向，使得这个方向的直线上，样本的投影能分开的最好，而Fisher法所要解决的基本问题就是找到这条最好的、最易于分类的投影线。先从d维空间到一维空间的一维数学变换方法。假设有一集合X包含N个d维样本〜&，...，〜，其中久个属于叫类的样本记为子集%个属于％类的样本记为义
2、2。若对Xy的分量做线性组合可得标量这样便得到n个一维样本久组成的集合，并可分为两个子集和y2。w的绝对值是无关紧要的，它仅使h乘上一个比例因子，重要的是选择VV的方向，从而转化为寻找最好的投影方向是样本分开。2.基本方法：先定义几个基本参量：(1)各类样本均值向量m,.(2)样本类内离散度矩阵和总类内离散度矩阵Sj-/Sx~mi)(x-mi)r，=1，2S(。=S}+S2(3)样本类间离散度矩阵么Sb=(Z?2,-m2)(/71,-m2)T我们希望投影后，在低维空间里个样本尽可能的分开些，即希望两类均值越大越好，同时希望各类
3、样本P、j部尽y:密集，即&越小越好。因此，我们定义Fisher•准则函数为(m,-州2)2S
4、+但7f(vv)不显含vv,因此必须设法将7,-(vv)变成vv的显函数。由式子w1x=w7(去［X)=VV7Z77z.^Xr.(ml-m2)2=(wTm{-wTm2)2=wT(m{-m2-m2)Tw=wTShw-vvrmz)2=wT(x-mt)(x-mz)rvv=vvrSzw从而得到JF(vv)采用Lagrange乘子法求解它的极大值i£(vv,A)=wTShw-A(wTSMw-c)对其求偏导，得即从而我们很容易得到Aw*=S"1
5、(Sbw")=S~tn}-z/z2)/?，其屮/?=(m,-zz?2)7vv*忽略比例因子得这就是我们Fisher准则函数取极人值时的解。三、实验内容：依据实验基本原理和基本方法，对下而表3-1样本数据中的类别％和仍2计算最优方向VV,画出最优方向VV的直线，并标记出投影后的点在直线上的位罝。选择决策边界，实现新样本xxl=(-0.7,0.58,0.089),似2=(0.047，-0.4，1.04)的分类。设某新类别％数据如表3-2所示，用自己的函数求新类别％分别和叫、％分类的投U!实验程序及其说明:影方肉和分类阀伉。表3-
6、1Fisher线性判别实验数据类别12345678910xl-0.4-0.31-0.38-0.15-0.350.17-0.011-0.27-0.065-0.12x20.580.270.0550.530.470.690.550.610.490.054x30.089-0.04-0.0350.0110.0340.1-0.180.120.0012-0.063O)2xl0.831.1-0.440.0470.28-0.390.34-0.31.10.18x21.61.6-0.41-0.450.35-0.48-0.079-0.221.2-0.
7、11x3-0.0140.480.321.43.10.110.142.2-0.46-0.49表3-2新类别实验数据类别12345678910xl1.580.671.04-1.49-0.411.391.2-0.920.45-0.76x22.321.581.012.181.213.611.41.441.330.84x3•5.8-4.78-3.63-3.39-4.732.87-1.89•3.22-4.38•1.961)Fisher准则函数算法:其中w为我们要找到的投影方向‘，wl、w2是我们的样本叫、叫，si、s2是相应样本的类内离散
8、度矩阵Sf，sw是总类内离散度矩阵ml、m2是相应样本均值。在进行6^分别和叫、必2分类的投影方向和分类阀值时，将对应的sl、s2;sw;ml、m2以及输出坐标换成相应的样本符号。巾于代码除此之外均相同，没有必要再重复列出，只需在运行时修改上述值即可。注意：在画出w吋(即v/)，由于样本的不同，输出系数应作相应的调整。如：叫、叫时，plot3(30*x,30*x*w(2,:)/w(1,:),30*x*w(3,:)/w(1,:)；k');叫、叫时，plot3(x,x*w(2,:)/w(1,:),x*w(3,:)/w(1,:)/k
9、');692、必3时，plot3(5*x,5*x*w(2,:)/w(1,:),5*x*w(3,:)/w(1,:)/k');代码：clear;wl=[-0.40.580.089;-0.310.27-0.04;-0.380.055-0.035;-0.150.530.011;-0.
