基于hadoop的电商平台大数据挖掘研究

《基于hadoop的电商平台大数据挖掘研究》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、基于Hadoop的电商平台大数据控掘研李蓉蓉广东科技学院摘要：针对电商平台大数据特点和电商平台的发展需求，提出的基于Hadoop的电商平台大数据挖掘研宂方案，描述了云计算大数据存储技术，构建了一种电苘平台大数据挖掘框架，对电商平台大数据挖掘过程进行分析，探讨了儿种数据挖掘算法。关键词：Hadoop;大数据;数据挖掘;电子商务;作者简介：李蓉蓉(1985-),女，湖南桃江人，硕士，讲师，研宂方向：软件工程，Web应用开发。收稿日期：2017-10-17Received：2017-10-171基于云计算的大数据存储技术1.1Hadoop框架H

2、adoop是一个分布式并行编程开源框架，实现了MapReduce计算模型，允许在整个集群使用MapReduce计算模型计算机的分布式环境存储并处理大数据，可以实现上千台机器的扩展，提供本地计算和存储。MapReduce是云计算的核心计算模式，是一种简化的编程模式，运用分布式运算技术，解决某类问题的开发模型。其可以自动分割问题，分割成映射(Map)和化简(Reduce)方式。程序员可以借助Hadoop编写程序，实现对海量数据的处理。此外，Hadoop还提供一个用来将数据存储或部署到各个计算节点上的分布式文件系统及分布式数据库。借助Hadoo

3、p框架及云计算核心技术MapReduce可以很好的处理大规模数据，可以将HDFS和HBase很好的融入到云计算框架中，实现云计算的分布式、并行计算和存储［1］。1.2基于云计算的海量数据存储模型根据海量数据的特性，结合云计算技术，提出基于云计算的海量数据存储模型，如图1所示。该模型主要由主服务器机群和存储节点机群组成，配合MapReduce、HDFS和HBase等对海量数据资源的存取和控制。HDFS和HBeise用来将数据存储或部署到各个计算节点上。lladoop架构和MapReduce调度和维护数掘,避免系统拥塞和故障。用户可以通过Ha

4、doop架构直接存取节点进行交互操作。图1基于云计算的海量数据存储模型下载原图2电商平台大数据挖掘框架针对电商平台大数据特点，数据挖掘为电商活动提供更有用的知识，更精确的信息以及更及时的响应，提出了一种电商平台大数据挖掘框架，如图2所示。电商平台用户数据挖掘框架包括六层［2］。图2基于大数据电商平台大数据挖掘框架下载原图3电商平台大数据挖掘流程电商数据是电商平台的生命线之一。利用这些海量数据与其业务进行关联，对用户的消费行为进行分析，借助数据挖掘技术，可以让平台更具有竞争性，从而获取商业价值。大数据挖掘能够主动学习，通过人工职能算法和机器

5、学习方式整理和学习数据呢绒，并且将学习的内容记忆到知识库中，为下次学习提供基础，吸收海量数据进行数据挖掘与分析。电商平台大数据挖掘流程如图3所示［3］。阁3电商平台大数据挖掘流程下载原阁从电商网站收集用户的数据，包括浏览数据、消费数据、社交数据、移动终端数据等，对数据进行一定的分类准备，通过Needlebase等工具进行收集。把收集来的数据进行相应的预处理，将这种简单、独立的数据通过解析、清洗、重构，转换成结构化、半结构化的数据，再对数据进行过滤、抽取和数据融合，过滤出来一下有意义的数据，从而分析各用户群体的特点，分析用户个人特点，获得有

6、价值的知识数据。要让知识数据体现价值，还需要将其进行解释和挖掘应用，在数据挖掘应用中有很多挖掘方法。4电商平台大数据挖掘方法数据挖掘应用是数据挖掘方法的最后一步，通过整理完的数据可以预测电商平台未来发展趋势及用户各种行为，为电商平台提出决策性建议。从不冋的角度对数据进行挖掘的常用方法主要有关联规则分析、分类聚类、变化和偏差分析等。4.1关联规则分析关联规则分析，就是寻找数据之间的联系，通过量化的方式衡量数据之间的关联性。可分为简单关联、时序关联、因果关联，为用户在电商平台留下的各种数据信息提供参考依据。4.2分类与聚类分析聚类分析算法中，

7、是对电子商务用户行为进行识别分析，如用户的行为习惯、收益、意见、忠诚度等。根据聚类分析，将用户数据集合根据指定的模型进行分类,根据分类结果得出聚类对象。基于聚类分析方法优化设计点子商务用户行为识別决策，锁定商务营销目标客户，避免客户群流失，确定营销渠道。4.3变化和偏差分析数据挖掘中的偏差分析，是探测数据当前现状、历史记录，标准值之间的显著变化和偏离，如观测结果与期望的偏离，分类中的反常实例，模式的例外等。它可以应用到电商平台用户异常信息的发现、分析、识别、评价和用户流失预警等方面。5结朿语文章提出基于Hadoop的电商平台大数据挖掘研究

8、方案，详细描述了基于Hadoop的电商平台大数据挖掘的关键技术、框架、流程和算法，通过对电商平台的数据进行深度分析，挖掘出用户的行为特征、消费习惯和兴趣焦点，让电商平台各参与者获得具有极大价值