基于hadoop的数据挖掘在电商环境的研究与应用

《基于hadoop的数据挖掘在电商环境的研究与应用》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、学校代号10532学号G12066036分类号密级公开工程硕士学位论文基于Hadoop的数据挖掘在电商环境的研究与应用学位申请人姓名郭钊培养单位软件学院导师姓名及职称宋怀玲教授何万平高级工程师学科专业软件工程研究方向信息系统与决策论文提交日期2016年12月学校代号：10532学号：G12066036密级：公开湖南大学工程硕士学位论文基于Hadoop的数据挖掘在电商环境的研究与应用学位申请人姓名：郭钊导师姓名及职称：宋怀玲教授何万平高级工程师培养单位：软件学院专业名称：软件工程论文提交日期：2016年12月论文答辩日期：2016年12月3日答辩委员会主席：罗汉教授Researcha

2、ndApplicationofData-miningBasedonHadoopinE-commercebyGUOZhaoB.E.(ChangshaUniversity)2010AthesissubmittedinpartialsatisfactionoftheRequirementsforthedegreeofMasterofEngineeringinSoftwareEngineeringintheGraduateSchoolofHunanUniversitySupervisorProfessorSongHuailingSeniorEngineerHeWanpingDecember

3、,2016湖南大学学位论文原创性声明本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得的研究成果。除了文中特别加标注引用的内容外，本论文不包含任何其他个人或集体己经发表或撰写的成果作品。对本文的研究做出重要贡献的个人和集体，均己在文中１＾明确方式标明。本人完全意识到本声明的法律后果由本人承担。＊＾作者签名：曰期：ｙ化年〇月（曰言＾学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部ｎ或机构送交论文的复印件和电子版，允许论文被査阅和借阅。本人授权湖南大学可Ｗ将本学位论文的全部或部

4、分内容编入有关数据库进行检索，可Ｗ采用影印、缩印或扫描等复制手段保存和汇编本学位论文。本学位论文属于１、保密□，在年解密后适用本授权书。２、不保密ｄ。请在上相应方框＂＂内打Ｖ（）＞１ｔ／ｆ＜５作者签名日期；年月５日／之导师签名Ｉ日：日期：如年月多节抑３基于Hadoop的数据挖掘在电商环境的研究与应用摘要随着便携式网络接入设备的飞速发展以及互联网技术的迭代更新，使得网络生态系统逐渐壮大、活跃，这也使得依托于互联网技术的电子商务发展迅速。相较于传统线下的购物方式，线上电子商务无疑是一种快捷、高效和便利的购物方式。近年来井喷的电商购物平台也很好的印证

5、了这一点。对于电子商务平台的运营者来说，如何巩固现有客户、拓展潜在客户是重中之重。基于互联网时代快速、海量数据的特点，本文设计将数据挖掘技术应用于电商平台数据，一方面，深度发掘现有客户的浏览、购物习惯，巩固现有用户；另一方面，分析潜在用户行为，获取其兴趣点，进行定向推送，拓展更多的客户。基于电商平台用户购物数据之间存在较强的关联性，本文设计采用关联规则算法进行数据挖掘与分析，达到巩固现有用户，发掘新用户的目的。数据挖掘的过程就是发现隐藏在各种尚没有处理的原始数据集合中的各种相关联系，并从这些联系中提取知识的过程。数据挖掘是多种计算机相关学科相结合的产物，其包含了数据库技术、计算机机

6、器自主学习、数据统计分析、行为模式识别、人工神经网络等等学科。由于其具有很高的商业使用价值，同时适合应用的范围极为广泛，所以目前数据挖掘的相关研究已成为研究的重点之一。本文以现今互联网、大数据时代下的电商平台为切入点，对电商平台现状进行分析，得出其弊端，即无法应对大数据时代海量无序数据的冲击，容易使平台积累无效数据，造成资源使用率低下，平台电商有效转化率低。其次，作者对某知名电商平台的服饰卖家以及家电卖家进行了匿名访谈，得出了服装买家购买物品具有较高关联度的结论。技术上，本文基于数据挖掘技术提出了一套基于Apriori的关联规则算法，并利用Hadoop数据库集群进行数据处理，相较于

7、传统的关系型数据库，Hadoop集群能同时对数据进行处理，大大提高算法工作效率。本文还基于AngularJS、Bootstrap以及Html搭建了一套前端数据可视化系统。关键词：数据挖掘；关联规则算法；Hadoop；数据可视化工程硕士学位论文AbstractWiththedevelopmentofportablenetaccessdeviceandtherevolutionoftheInternettechnology,thenetecho-systembecomes