大数据关键技术

《大数据关键技术》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、大数据关键技术大数据技术，就就是从各种类型得数据中快速获得有价值信息得技术。大数据领域已经涌现出了大量新得技术，它们成为大数据采集、存储、处理与呈现得有力武器.大数据处理关键技术一般包括：大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘、大数据展现与应用（大数据检索、大数据可视化、大数据应用、大数据安全等）。、大数据米集技术数据就是指通过RFID射频数据、传感器数据、社交网络交互数据及移动互联网数据等方式获得得各种类型得结构化、半结构化（或称之为弱结构化）及非结构化得海量数据，就是大数据知识服务模型

2、得根本,重点要突破分布式高速高可靠数据爬取或采集、高速数据全映像等大数据收集技术；突破高速数据解析、转换与装载等大数据整合技术；设计质量评估模型，开发数据质量技术。大数据采集一般分为大数据智能感知层：主要包括数据传感体系、网络通信体系、传感适配体系、智能识别体系及软硬件资源接入系统，实现对结构化、半结构化、非结构化得海量数据得智能化识别、定位、跟踪、接入、传输、信号转换、监控、初步处理与管理等。必须着重攻克针对大数据源得智能识别、感知、适配、传输、接入等技术,基础支撑层：提供大数据服务平台所需得虚拟服务器，结构

3、化、半结构化及非结构化数据得数据库及物联网络资源等基础支撑环境。重点攻克分布式虚拟存储技术，大数据获取、存储、组织、分析与决策操作得可视化接口技术，大数据得网络传输与压缩技术，大数据隐私保护技术等.二、大数据预处理技术主要完成对已接收数据得辨析、抽取、清洗等操作。1)抽取：因获取得数据可能具有多种结构与类型，数据抽取过程可以帮助我们将这些复杂得数据转化为单一得或者便于处理得构型，以达到快速分析处理得目得。2)清洗:对于大数据，并不全就是有价值得，有些数据并不就是我们所关心得内容，而另一些数据则就是完全错误得干扰

4、项，因此要对数据通过过滤“去噪”从而提取出有效数据.三、大数据存储及管理技术大数据存储与管理要用存储器把采集到得数据存储起来，建立相应得数据库，并进行管理与调用。重点解决复杂结构化、半结构化与非结构化大数据管理与处理技术。主要解决大数据得可存储、可表示、可处理、可靠性及有效传输等几个关键问题。开发可靠得分布式文件系统(DFS)、能效优化得存储、计算融入存储、大数据得去冗余及高效低成本得大数据存储技术；突破分布式非关系型大数据管理与处理技术，异构数据得数据融合技术，数据组织技术，研究大数据建模技术；突破大数据索引

5、技术；突破大数据移动、备份、复制等技术；开发大数据可视化技术开发新型数据库技术，数据库分为关系型数据库、非关系型数据库Nosa以及数据库缓存系统。其中，非关系型数据库主要指得就是L数据库，分为：键值数据库、列存数据库、图存数据库以及文档数据库等类型.关系型数据库包含了传统关系数据库系统以及NewSQL数据库.开发大数据安全技术。改进数据销毁、透明加解密、分布式访问控制、数据审计等技术；突破隐私保护与推理控制、数据真伪识别与取证、数据持有完整性验证等技术。四、大数据分析及挖掘技术大数据分析技术-改进已有数据挖掘与

6、机器学习技术；开发数据网络挖掘、特异群组挖掘、图挖掘等新型数据挖掘技术；突破基于对象得数据连接、相似性连接等大数据融合技术；突破用户兴趣分析、网络行为分析、情感语义分析等面向领域得大数据挖掘技术.数据挖掘就就是从大量得、不完全得、有噪声得、模糊得、随机得实际应用数据中，提取隐含在其中得、人们事先不知道得、但又就是潜在有用得信息与知识得过程.数据挖掘涉及得技术方法很多，有多种分类法。根据挖掘任务可分为分类或预测模型发现、数据总结、聚类、关联规则发现、序列模式发现、依赖关系或依赖模型发现、异常与趋势发现等等；根据挖

7、掘对象可分为关系数据库、面向对象数据库、空间数据库、时态数据库、文本数据源、多媒体数据库、异质数据库、遗产数据库以及环球网we°；根据挖掘方法分，可粗分为：机器学习方法、统计方法、神经网络方法与数据库方法。机器学习中可细分为：归纳学习方法（决策树、规则归纳等）、基于范例学习、遗传算法等.统计方法中，可细分为：回归分析（多元回归、自回归等）、判别分析（贝叶斯判别、费歇尔判别、非参数判别等）、聚类分析（系统聚类、动态聚类等）、探索性分析（主元分析法、相关分析法等）等。神经网络方法中，可细分为：前向神经网络（EP算法

8、等）、自组织神经网络（自组织特征映射、竞争学习等）等.数据库方法主要就是多维数据分析或OLAP方法，另外还有面向属性得归纳方法.从挖掘任务与挖掘方法得角度，着重突破：1、可视化分析。数据可视化无论对于普通用户或就是数据分析专家，都就是最基本得功能。数据图像化可以让数据自己说话，让用户直观得感受到结果。2、数据挖掘算法。图像化就是将机器语言翻译给人瞧，而数据挖掘就就是机器得母语。分割、集