基于hbase的日志异常分析与相关算法研究

《基于hbase的日志异常分析与相关算法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、毛击糾故＊資ｇＵＮＨＮ０ＬＯＧＹ０ＦＣＨＩＨ占ＩＶ巨Ｒ５ＩＴＹＯＦＥＬＥＣＴＲＯＮＩＣｓｃＩＥＮＣＥＡＮ０ＴＥＣ硕±学位论文ＭＡＳＴＥＲＴＨＥＳＩＳ－论文题园基于酣狀ｅ的日志异常分析与相关算法研究学科专业计算机应用技术学号２０１３２１０６（Ｍ３３过化者姓名孟庆翔一＂■．，＂Ｉ■‘…■＂Ｉ＿Ｍ猜导教师赵劈副教授？．：．奇：ｉ：片品：．：：二；ｆ巧，ｖ：苗■■－■＼：；子．；■＇．片击申：Ｖ：：’＇．＇．．．

2、＇‘：：＾裤Ｖ；ｙ二，扑班；—强占軒＇＇＊．．－；＼．：…，－．１．．－．三心独剑性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知，除了文中特别加Ｗ标注和致谢的地方夕ｈ论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与我－同工作的同志对本硏究所做的任何贡献巧已在论文中作了明确的说明并表Ｗ谢意。；作者签名：襄奔）日期：７Ｗ作５乃？。口论支使用授权本学位论文作者完全了解电子科技大学有关保巧、化用

3、学位论文允的规许定论文，巧权保留并向圃家有关部ｎ或机构送逆论义的驻印件和礎盘，被查陶和借阅。本人授权电子科技火学可将学位论义的全部或部分内容编入有关数据库进行检索，可Ｗ采用影印、缩印或巧描等复制手段保存、汇编学位论文。（保密的学位论文在解密后应遵守此规定）作者签名：衫４狗导师签名：＇日期：年／ｓ月３。日？分类号密级注1UDC学位论文基于HBase的日志异常分析与相关算法研究（题名和副题名）孟庆翔（作者姓名）指导教师赵勇副教授电子科技大学成都（姓名、职称、单位名称）申请学位级别硕士学科专业计算机应用技术提交论文日期2016.

4、03.28论文答辩日期2016.05.19学位授予单位和日期电子科技大学2016年06月答辩委员会主席评阅人注1：注明《国际十进分类法UDC》的类号。-II-ResearchonHBase-BasedAbnormalLogAnalysisandRelatedAlgorithmsAMasterThesisSubmittedtoUniversityofElectronicScienceandTechnologyofChinaMajor:ComputerAppliedTechnologyAuthor:MengQingxiangAdvisor:AssociatePro

5、f.YongZhaoSchool:SchoolofComputerScience&Engineering摘要摘要当前针对网络外部的入侵攻击已有相对完善的防护措施，但针对来自系统内部的用户威胁则缺乏针对性的措施。尤其在国防、公安、金融等领域，来自系统内部的越权访问、信息窃取、秘密泄露等问题成为相关领域安全工作的重要威胁。日志可将系统中发生的事件进行完整记录，可用来对系统内部安全状况进行分析评估。当前业界针对日志分析的研究大多是基于专家系统的安全审计技术，可对小规模的异常行为进行分析，但这种技术在海量数据处理和隐藏的关联关系挖掘方面显得力不从心。本文研究的目的是将

6、数据挖掘技术和分布式计算技术结合起来，实现对海量日志数据的收集、存储和分析处理，挖掘日志信息中的潜在规律，用于发现系统安全漏洞和内部用户异常行为，弥补传统专家系统的不足。论文分析了分布式计算平台Hadoop和NoSQL数据库在海量数据处理方面的优势，对当前常用的数据挖掘技术和日志异常分析方法进行了系统研究，针对本文分析的日志特征和研究目的选择了关联规则挖掘经典算法Apriori作为基本算法进行了深入研究。针对Apriori算法运行过程中每一轮计算都要扫描整个数据库和连接生成候选频繁项集数量过多的问题，通过将原始的水平数据结构转换为数据项和事务ID垂直对应的数据

7、结构实现对算法的改进，同时在数据转换时对数据存储格式进行了分类标识，有效减少了候选频繁项集数量，提高了算法运行效率。论文设计实现了基于Hadoop分布式计算平台和HBase存储系统的日志分析框架原型，包含分布式日志采集与处理、海量数据存储、日志规则挖掘、异常行为发现等功能，通过基于属性特征、基于时间和位置限定、基于数理统计模式的三种类型的规则匹配，帮助系统安全管理人员更加及时准确地发现系统内部用户异常行为。通过在实验平台上的测试，改进的算法在日志数据挖掘上的效率比传统的Apriori算法提高了大约20%。关键词：HBase日志异常分析数据挖掘Apriori算法

8、IABSTRACTABSTRACTTh