基于条件函数依赖的挖掘算法研究-论文.pdf

《基于条件函数依赖的挖掘算法研究-论文.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第25卷第5期计算机技术与发展V0J．25No。52015年5月C0MPUTERTECHNOL0GYANDDEVELOPMENTMay2015基于条件函数依赖的挖掘算法研究张方舟，高晓松(东北石油大学计算机与信息技术学院，黑龙江大庆163318)摘要：由于采用函数依赖(FunctionalDependency，FD)对数据库的检测和修复还不够充分，现提出了条件函数依赖(Con—ditionalFunctionalDependency，CFD)，其是在FD的基础上加入了语义约束。条件函数依赖的挖掘是一种重要的数

2、据库分析技术，CFD挖掘是在FD挖掘的基础上通过条件分析进行更细粒度的信息挖掘，其时间复杂度较高。文中主要介绍了CFD的相关概念及CFD经典挖掘算法之一一cTANE，并对该算法效率进行改进。改进后的算法不仅可以提高数据挖掘过程中操作的效率，同时也将节省数据的存储空间。关键词：条件函数依赖；数据质量；数据清洗；CTANE算法中图分类号：TP301．6文献标识码：A文章编号：1673—629X(2015)05—0056—04doi：10．3969／j．issn．1673—629X．2015．05．014Resea

3、rchonMiningAlgorithmBasedonConditionalFunctionalDependenceZHANGFang—zhou，GAOXiao-song(SchoolofComputer&InformationTechnology，NortheastPetroleumUniversity，Daqing163318，China)Abstract：BecausethedetectionandrepairofthedatabaseisnotsufficientbyFunctionalDepende

4、ncy(FD)，ConditionalFunctionalDe-pendency(CFD)isproposed，whichisanextensionofFDaddingsemanticconstraints．ThediscoveryofCFDisanimportantdatabasea—nalysistechnique，CFDminingdothemorefine-grainedinformationmineswhichbasedonFDmining，SOthetimecomplexityofCFDminin

5、gishigherthanthelatter．IntroducetherelatedconceptofCFDandoneoftheCFDclassicalminingalgorithm-CTANEinthispa-per，andimprovetheefficiencyofthisalgorithm．TheimprovedalgorithmCannotonlyenhancetheoperatingeficiencyofthedatamin-ingprocess，butalsosavethedatastorage

6、space．Keywords：conditionalfunctionaldependency；dataquality；datacleaning；CTANEalgorithmO引言洗是提高数据质量的关键技术，所谓数据清洗就是将近几年，随着互联网大潮的席卷，无论是企业、政错误的、重复的、不一致的“脏”数据进行清洗使其变府还是媒体都通过网络产生了海量的信息，丰富多样“干净”。数据清洗是一个劳动密集型和复杂的过程，的数据在给人们带来方便快捷的同时，数据的质量问在数据库挖掘项目中，30％～80％的时间花在了数据题也日益

7、凸显出来。数据质量的低下直接影响统计信清洗上，可见其重要性非同一般。息的可利用性，这将会误导决策者做出错误决定，从而数据质量的主要评价指标包括以下几个方面：一给企业带来严重的经济损失⋯。致性、正确性、完整性和最小性。其中，近几年数据库企业中复杂的数据环境可能导致多种多样数据质研究领域的一个热门话题是如何解决数据的不一致性量问题的出现，最近统计数字表明，美国商业公司每年问题。在数据库知识发现中的函数依赖是一个很重在处理脏数据的问题上要花费数十亿美元，普华永道要的概念，在现实世界中，大量数据彼此之间可能存在会计事

8、务所在纽约的研究表明，高达75％的被调查公联系，而函数依赖可以反映出其中属性中间的关联性，司存在因脏数据问题造成经济损失的现象。数据清并可以利用这种关联关系进行判定查询优化、数据约收稿日期：2014—06—16修回日期：2014—09—24网络出版时间：2015—02—23基金项目：黑龙江省科技攻关项目(F2004—01)；黑龙江省教育重大科研项目(10051z0001)作者简介：张方舟(1973一