多项式回归的建模方法比较研究

《多项式回归的建模方法比较研究》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、&(!!文章编号!!""#*!$%%"#""&#"!*""&(*"$多项式回归的建模方法比较研究!付凌晖!王惠文"北京航空航天大学!经济管理学院!北京!!"""(V#摘要!在实际工作中!人们在采用回归模型解释因果变量间的相关关系时!经常会遇到自变量之间存在幂乘关系的情况"在这种情况下!多项式回归模型成为一个合理的选择"由于多项式回归模型中自变量之间存在较强的相关关系!采用普通最小二乘回归方法来估计变量的回归系数!则会存在较大的误差"在本文中!为了提高多项式回归模型的预测准确性和可靠性!提出使用主成分分析#偏最小二乘回归建模!并采用仿真数

2、据来比较它们的异同"关键词!多项式回归$主成分分析$偏最小二乘回归$分段逆回归中国分类号!+#!#文献标识码%-3&(29$%$,/:"%"#"$&’(+9(80)(2/$8%"*%"##/()2(1"88/)*2",’(1#=_c26731@2!8-/X.@23OA6"IE155D5B9E565<2E>hHF6F7A2?45B-AL56F@?2E>F6G->?L56F@?2E>!JA2K267,126F!"""(V#34#,%$&,$:6MLFE?2EFDO5LS!2?2>BLAT@A6??1F?

3、?1ALA2>M5OALLADF?256F<56726GAMA6GA6?RFL2FNDA>O1A6?1AE5LLADF?256NA?OAA6GAMA6GA6?RFL2FNDAF6G26GAMA6GA6?RFL2FNDA>2>A^MDF26AGN4LA7LA>>256<5GADPQ1A6!?1AM5D465<2FDLA7LA>>256<5GADNAE5FLAF>56FNDAE152EAPI26EA?1A1271E5LLADF?256F<56726GAMA6GA6?RFL2F3NDA>A^2>?!2?O2DDML5G@EAA^EA>>

4、2RAALL5L?5A>?2?>T@FLALA7LA>>256P:6?12>MFMAL!265LGAL?52>256MLAG2E?256!CL26E2MFD,52>!CFL?2FDcAF>?3IT@FLA>YA7LA>>256!ID2EAG:6RAL>AYA7LA>>256FLAML5M5>AGPI2<@DF?256GF?F2>FG5M?AG?5E

5、5>256%CL26E2MFD,52>%CFL?2FDcAF>?3IT@FLA>YA7LA>>256%ID2EAG:63RAL>AYA7LA>>256在实际工作中!人们经常采用多项式回归模型来解释自变量与因变量之间的相关关系&多项式回归模型的形式可以表示为!%#A)"])!+])#+]’])A+](!其中(为随机偏差&设7为O维自变量的数据矩阵!%为因变量&对于多项式回归模型!由于自变量之间存在较强的相关

6、关系!因而如果采用普通最小二乘回归方法来估计变量的回归系数!则会存在较大的误差&这是由于使用普通最小二乘法对回归系数W进行估计的公式可以表示为!W"7M7#*!7M%!"7为样本点‘变量的自变量矩阵#&当7中的变量完全相关时!"7M7#是不可逆矩阵!用此公式无法求得回归系数W%当7中的变量高度相关时!行列式)7M7)几乎接近于零!这时求"7M7#的逆矩阵会含有严重的舍入误差&因此!为了解决这个问题!人们采用了多种方法!其中主成分分析!偏最小二乘回归和分段逆回归方法被认为能够取得较好的效果&本文为了比较这三种多项式回归建模方法的异同!将

7、通过理论分析和使用仿真数据的方法来评价它们的作用&万方数据!收稿日期!#""#*"(*"#多项式回归的建模方法比较研究&)一!方法原理$!%$#%"一#主成分分析"CL26E2MFD,52>#主成分分析是在保持原始数据信息损失最少的前提下&通过线性变换将原始自变量集合由高维空间映射到一个低维空间&从而实现数据的降维’在这个低维空间中&由于变量之间是相互正交&所以使用这些综合了原始自变量集合最大信息的新综合变量进行回归分析时&将不再会存在使用普通最小二乘回归的问题’同时&由于主成分分析中产生的新综合变量提取了原始

8、变量最大的信息量&因而不会影响回归分析的结果’主成分分析的计算步骤为("!#数据标准化&得到标准化矩阵7""##计算标准化矩阵7的协方差矩阵4""V#求4的前?个特征值’)4’&以及对应的特征向量F&F&)