大数据管理_概念_技术与挑战24.pdf

《大数据管理_概念_技术与挑战24.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、计算机研究与发展ＩＳＳＮ１０００－１２３９?ＣＮ１１－１７７７?ＴＰＪｏｕｒｎａｌｏｆＣｏｍｐｕｔｅｒＲｅｓｅａｒｃｈａｎｄＤｅｖｅｌｏｐｍｅｎｔ５０（１）：１４６－１６９，２０１３大数据管理：概念、技术与挑战孟小峰慈祥（中国人民大学信息学院北京１００８７２）（ｘｆｍｅｎｇ＠ｒｕｃ．ｅｄｕ．ｃｎ）ＢｉｇＤａｔａＭａｎａｇｅｍｅｎｔ：Ｃｏｎｃｅｐｔｓ，ＴｅｃｈｎｉｑｕｅｓａｎｄＣｈａｌｌｅｎｇｅｓＭｅｎｇＸｉａｏｆｅｎｇａｎｄＣｉＸｉａｎｇ（ＳｃｈｏｏｌｏｆＩｎｆｏｒｍａｔｉｏｎ，ＲｅｎｍｉｎＵｎｉｖｅｒｓｉｔｙｏｆＣｈｉｎａ，Ｂｅｉｊｉｎｇ１００８７２

2、）ＡｂｓｔｒａｃｔＤａｔａｔｙｐｅａｎｄａｍｏｕｎｔｉｎｈｕｍａｎｓｏｃｉｅｔｙｉｓｇｒｏｗｉｎｇｉｎａｍａｚｉｎｇｓｐｅｅｄｗｈｉｃｈｉｓｃａｕｓｅｄｂｙｅｍｅｒｇｉｎｇｎｅｗｓｅｒｖｉｃｅｓｓｕｃｈａｓｃｌｏｕｄｃｏｍｐｕｔｉｎｇ，ｉｎｔｅｒｎｅｔｏｆｔｈｉｎｇｓａｎｄｓｏｃｉａｌｎｅｔｗｏｒｋ，ｔｈｅｅｒａｏｆｂｉｇｄａｔａｈａｓｃｏｍｅ．Ｄａｔａｈａｓｂｅｅｎｆｕｎｄａｍｅｎｔａｌｒｅｓｏｕｒｃｅｆｒｏｍｓｉｍｐｌｅｄｅａｌｉｎｇｏｂｊｅｃｔ，ａｎｄｈｏｗｔｏｍａｎａｇｅａｎｄｕｔｉｌｉｚｅｂｉｇｄａｔａｂｅｔｔｅｒｈａｓａｔｔｒａｃｔｅｄｍｕ

3、ｃｈａｔｔｅｎｔｉｏｎ．Ｅｖｏｌｕｔｉｏｎｏｒｒｅｖｏｌｕｔｉｏｎｏｎｄａｔａｂａｓｅｒｅｓｅａｒｃｈｆｏｒｂｉｇｄａｔａｉｓａｐｒｏｂｌｅｍ．Ｔｈｉｓｐａｐｅｒｄｉｓｃｕｓｓｅｓｔｈｅｃｏｎｃｅｐｔｏｆｂｉｇｄａｔａ，ａｎｄｓｕｒｖｅｙｓｉｔｓｓｔａｔｅｏｆｔｈｅａｒｔ．Ｔｈｅｆｒａｍｅｗｏｒｋｏｆｂｉｇｄａｔａｉｓｄｅｓｃｒｉｂｅｄａｎｄｋｅｙｔｅｃｈｎｉｑｕｅｓａｒｅｓｔｕｄｉｅｄ．Ｆｉｎａｌｌｙｓｏｍｅｎｅｗｃｈａｌｌｅｎｇｅｓｉｎｔｈｅｆｕｔｕｒｅａｒｅｓｕｍｍａｒｉｚｅｄ．Ｋｅｙｗｏｒｄｓｂｉｇｄａｔａ；ｄａｔａａｎａｌｙｓｉｓ；ｃｌｏｕｄ

4、ｃｏｍｐｕｔｉｎｇ摘要云计算、物联网、社交网络等新兴服务促使人类社会的数据种类和规模正以前所未有的速度增长，大数据时代正式到来．数据从简单的处理对象开始转变为一种基础性资源，如何更好地管理和利用大数据已经成为普遍关注的话题．大数据的规模效应给数据存储、管理以及数据分析带来了极大的挑战，数据管理方式上的变革正在酝酿和发生．对大数据的基本概念进行剖析，并对大数据的主要应用作简单对比．在此基础上，阐述大数据处理的基本框架，并就云计算技术对于大数据时代数据管理所产生的作用进行分析．最后归纳总结大数据时代所面临的新挑战．关键词大数据；数据分析；云计算中图法分类号

5、ＴＰ３１１［２］随着以博客、社交网络、基于位置的服务ＬＢＳａｎｄｓｏｃｉｅｔｙ”，阐述了在数据驱动的研究背景下，为代表的新型信息发布方式的不断涌现，以及云计解决大数据问题所需的技术以及面临的一些挑战．算、物联网等技术的兴起，数据正以前所未有的速度《Ｓｃｉｅｎｃｅ》在２０１１年２月推出专刊“Ｄｅａｌｉｎｇｗｉｔｈ［３］在不断地增长和累积，大数据时代已经来到．学术Ｄａｔａ”，主要围绕着科学研究中大数据的问题展界、工业界甚至于政府机构都已经开始密切关注大开讨论，说明大数据对于科学研究的重要性．美国数据问题，并对其产生浓厚的兴趣．就学术界而言，一些知名的数据管

6、理领域的专家学者则从专业的研［１］《Ｎａｔｕｒｅ》早在２００８年就推出了ＢｉｇＤａｔａ专刊．计究角度出发，联合发布了一份白皮书《Ｃｈａｌｌｅｎｇｅｓ［４］算社区联盟（ＣｏｍｐｕｔｉｎｇＣｏｍｍｕｎｉｔｙＣｏｎｓｏｒｔｉｕｍ）ａｎｄＯｐｐｏｒｔｕｎｉｔｉｅｓｗｉｔｈＢｉｇＤａｔａ》．该白皮书从学在２００８年发表了报告“Ｂｉｇｄａｔａｃｏｍｐｕｔｉｎｇ：Ｃｒｅａｔｉｎｇ术的角度出发介绍了大数据的产生，分析了大数据ｒｅｖｏｌｕｔｉｏｎａｒｙｂｒｅａｋｔｈｒｏｕｇｈｓｉｎｃｏｍｍｅｒｃｅ，ｓｃｉｅｎｃｅ，的处理流程，并提出大数据所面临的若干挑战．收稿日期：２０

7、１２－１１－３０；修回日期：２０１２－１２－０４基金项目：国家自然科学基金项目（６１０７００５５，９１０２４０３２，９１１２４００１，６０８３３００５）；中国人民大学科学研究基金项目（１１ＸＮＬ０１０）；国家“八六三”高技术研究发展计划基金项目（２０１２ＡＡ０１０７０１）孟小峰等：大数据管理：概念、技术与挑战１４７全球知名的咨询公司麦肯锡（ＭｃＫｉｎｓｅｙ）２０１１来看，它表示数据规模的庞大．但是仅仅数量上的庞年６月份发布了一份关于大数据的详尽报告“Ｂｉｇ大显然无法看出大数据这一概念和以往的“海量数ｄａｔａ：Ｔｈｅｎｅｘｔｆｒｏｎｔｉｅｒｆｏｒｉｎｎｏ

8、ｖａｔｉｏｎ，ｃｏｍｐｅｔｉｔｉｏｎ，据”（ｍａｓｓｉｖｅｄａｔａ）、“超大规模数据”（ｖｅｒ