大数据管理- 概念、技术与挑战

《大数据管理- 概念、技术与挑战 》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、大数据管理:概念、技术与挑战集合D上的关系T为：T={<dik，djk>，其中dik∈D∧djk∈D，且dik、djk间存在关联链}定义5：设T是钻具集合D上的一个关系，对于任何dik∈D，称集合[dik]={djk，其中djk∈D，<dik，djk>∈T}为钻具的关联钻具集合。定义6：核心钻具给定数值ε>0和δ>0，若钻具dik的ε邻域集合ε(dik)包含的钻具个数

2、ε(dik)

3、≥δ，则称dik为第K次开钻钻具组合的核心钻具；所有核心钻具所构成的集合记为Dkey。

4、根据上述定义，钻具间关联性分析的过程为：（1）从以往不同油井的钻具组合设计集合ARGIN:0cm0cm0pt;mso-layout-grid-align:none"class=MsoNormalalign=left>（2）给定数值ε>0和δ>0，计算钻具集合D中第K次开钻每个钻具dlk的ε邻域ε(dlk)；（3）对于每个钻具dlk∈D，如果

5、ε(dlk)

6、≥δ，则dlk为第K次开钻钻具组合的核心钻具；（4）针对每个核心钻具，分析形成每个核心钻具的关联链，并由此构建集合Dkey上的一个关系T；

7、（5）根据关系T，得到每个核心钻具dik的关联钻具集合。3基于MapReduce的钻具关联性分析算法MapReduce采用分布式编程模型，其核心思想是将大的数据处理任务分解为多个计算过程相互独立的子任务，将这些子任务分发到云计算平台各节点执行，然后将各节点的结果进行汇总，形成最终结果。按照前述钻具间关联性分析的过程，根据MapReduce的编程模式，基于MapReduce的钻具间关联性分析的过程，首先是通过Map函数，分别并行的在各钻井公司数据库管理和计算节点上，对该企业以往不同油井钻具组合数据中所包含

8、的钻具及钻具间的关联度进行分析计算；其次是通过Reduce函数，将于不同钻井企业的相同钻具及其与其它钻具间的关联度进行合并，根据用户输入的ε和δ的值，分析找出核心钻具，计算得到核心钻具关联链和关联钻具集合，并输出给用户参考。这一过程的算法为：输入:<UserID,<DrillingIDList>>//UserID是钻井公司标识，DrillingIDList是油井钻具组合列表输出:<KeyDrillingID,<KeyDrillingIDLinkList>>

9、//KeyDrillingID是核心钻具，KeyDrillingIDLinkList是核心钻具关联钻具列表//Map阶段，针对每一个钻井公司（1）。循环钻具组合列表DrillingIDList，确定钻具标识DrillingID，形成相应的钻具列表DrillingList；（2）。对钻具列表中每个钻具，对钻具组合列表DrillingIDList进行循环，计算该钻具与其它钻具的关联度，形成该钻具关联列表DrillingIDLinkList；（3）。形成键/值<DrillingID,<Drilli

10、ngIDLinkList>>对列表。//Reduce阶段（1）对Map函数形成的<DrillingID,<DrillingIDLinkList>>中相同DrillingID的钻具进行归并，形成钻具集合DrillingSet；（2）对钻具集合中每个钻具，对各Map函数DrillingIDLinkList进行循环，将该钻具与其它钻具在不同Map函数中的关联度进行累计计算，形成该钻具关联度累计后的关联列表DrillingIDLinkList2；（3）根据给定的数值ε，对Dr

11、illingSet循环，依据DrillingIDLinkList2中的值，计算得到每个钻具的ε关联邻域集合，DrillingIDNList；（4）根据给定的数值δ，对DrillingSet循环，依据DrillingIDNList中的值，选择确定核心钻具KeyDrillingID，计算得到该核心钻具的关联钻具列表KeyDrillingIDLinkList。4结束语钻具组合设计常常需参考和借鉴以往类似设计的数据与结果，而传统方式是将数据集成后统一进行分析统计，造成因数据分布广、数据量大而难以集成和及时提供有

12、效信息等问题。本文提出的一种基于大数据的钻具组合辅助设计方法，利用大数据的理论和方法，借鉴MapReduce的编程模式，有效实现了分布在不同钻井企业各油井钻具组合中钻具间关联性的并行分析，避免了以往数据集成和分析统计的缺陷，提高了对以往钻具组合数据的利用率和统计分析的效率，为面向设计人员的钻具组合辅助设计系统的构建与研究提供了可供借鉴的新思路。