graphical lasso算法

《graphical lasso算法》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、SPARSEINVERSECOVARIANCEESTIMATION基于graphicalLasso法对逆WITHTHEGRAPHICALLASSO稀疏协方差矩阵的估计现代科技的快速发展带动了高维数据的广泛应用。在许多实际问题中，高维稀疏矩阵的研究处理起到了至关重要的作用。在2011年，JianqingFan等对稀疏矩阵进行了定义，且提出了在金融、稀疏矩阵在金融行业中的处理高维度数据的普遍性与所遇到的困难。所谓稀疏矩阵，即矩阵中非零元素的个数远远小于矩阵元素的总数，并且非零元素的分布没有规律。图论，作为数学的一个分支，以图为研究对

2、象，将若干给定的点及连接这些点之间的连线来构成的一些图形。这些图形通常用来描述事物之间的某种特定关系。图论的核心思想即为用点来代表事物，并用连接两点的线来表示相应的这两个事物间具有的关系。随着计算机的出现，图论得到了快速的发展。图论的应用范围覆盖面很广，从自然科学到社会科学等的广阔的领域，包括电信网络计算机程序设计、人工智能情报检索、社会结构、运筹学、经济学、遗传学等。由于图论丰富的内容以及广泛的应用，在解决实际问题和理论问题中，图论都是一个有力的工具。′高斯图模型：假定???1,?2,?3,?4,……??是一组p维的随机变量，

3、它服从p元正态分布(?,Σ)u1ww111111ppU,,密度矩阵（concentrationmatrix）wwup11pppppp如果记?′=?,?，?′=?,⋯,?,Σ=Ω−1,如果给定?′=?,⋯,?的值，那么在此条件下11223?23?1****w11w12w22w211********wwwwwwww2122121111221221*12

4、(34p)w*12称之为相关系数121(*ww*)2

5、112212

6、(34p)0w*0121T2RA(X)A,A(diag()),11Tpcor(X)R(X)AApcor(X,X)w12121122如果w120称?1,?2，关于?3,?4……,??条件独立。在图模型中记作?1

7、

8、?2

9、(?3,?4……,??)当P=3时，那么?1

10、

11、?2

12、?3如果用他们的偏相关系数是否为0来表示边，此时的无向图为，?1?2高斯图模型?3LASSO算法的引入在大数据的时代下，选择合适的变量建立模型是重中之重，因此多元线性回归算法显得至关重要，目前，“LASSO（T

13、heLeastabsoluteshrinkageandselectionoperator）”和逐步回归法是两种被理论证明很有效的算法，他们都是由一种计算简单的方法所演变出来的“LARS（LeastangleRegressionSelection）”比如在多元回归中常用的逐步回归法。我们只知道向前回归，向后回归还有二者的结合的一些最基本的想法。比如向前回归，就是先选择和响应最相关的变量，进行最小二乘回归。然后在这个模型的基础上，再选择和此时残差相关度最高的（也就是相关度次高）的变量，加入模型重新最小二乘回归。之后再如此法继续，直到

14、在某些度量模型的最优性准则之下达到最优，从而选取一个最优的变量子集进行回归分析，得到的模型是相比原模型更加简便，更易于解释的。这种方法，牺牲了模型准确性（预测有偏），但是提高了模型的精确度（方差变小）。大多数本科生对逐步回归的理解也就如此了。Efron看待这个问题时，比起常人更高了一个层次。他首先指出，逐步向前回归，有可能在第二步挑选变量的时候去掉和X1相关的，但是也很重要的解释变量。这是因为它每次找到变量，前进的步伐都太大了，侵略性太强。LARS的算法实际执行步骤如下：1.对自变量??进行标准化（去除不同尺度的影响），对Y进行

15、中心化（去除截距项的影响），初始的所有系数都设为0，此时残差r就等于中心化后的Y2.找出和残差r相关度最高的变量??3.将??的系数??从0开始沿着LSE（只有一个变量??的最小二乘估计）的方向变化，直到某个新的变量??与残差r的相关性大于??时4.??和??的系数??和??，一起沿着新的LSE（加入了新变量??的最小二乘估计）的方向移动，直到有新的变量被选入5.重复2，3，4，直到所有变量被选入，最后得到的估计就是普通线性回归的OLS从上面这个算法可以看出，LARS这个东西明显和OLS,RidgeRegression等给出了C

16、losed-formsolutions的模型不同，而是给出了一套对计算机来说非常友好的算法。这也说明了随着计算机能力的强大，现代统计基本上越来越靠近算法，而和模型无关。因此在这个基础上，Efron提出了LARS(leastangleregressionselec