大数据平台 接入技术规范

《大数据平台 接入技术规范》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、ICS01.120A00     DB15内蒙古自治区地方标准DB15/TXXXXX—XXXX     大数据平台接入技术规范TechnicalSpecificationofBigDataPlatformforAccess(征求意见稿)    -XX-XX发布XXXX-XX-XX实施内蒙古自治区市场监督管理局   发布DB15/TXXXXX—XXXX目  次前  言II1范围12规范性引用文件13术语及定义14缩略语25概述26接入要求36.1关系数据库抽取36.2服务网关服务46.3实时消息队列56.4文件接收FTP服务76.5文件拉取FT

2、P服务8附录A（资料性附录）关系数据库抽取规范说明10附录B（资料性附录）服务网关服务规范说明11附录C（资料性附录）实时消息队列规范说明12附录D（资料性附录）文件接收FTP服务规范说明13附录E（资料性附录）文件拉取FTP服务规范说明1625DB15/TXXXXX—XXXX前  言本标准按照GB/T　1.1—2009给出的规则起草。本标准由内蒙古自治区大数据发展管理局提出。本标准由内蒙古自治区大数据发展管理局归口。本标准起草单位：内蒙古自治区大数据发展管理局、内蒙古大学图书馆、内蒙古自治区大数据与云计算标准化委员会、内蒙古自治区发改委社会

3、信用管理中心、内蒙古自治区标准化院信息中心、浪潮集团、内蒙古大学、中国电信股份有限公司内蒙古分公司、新华三技术有限公司。本标准主要起草人：周佳琪、张世铭、崔连伟、刘实、常亮、郭新灵、张文辉、李敏、崔波、孟晖、赵逢波、万磊。25DB15/TXXXXX—XXXX大数据平台接入技术规范1　范围本标准规定了大数据平台与各数据提供单位业务系统进行数据接入的技术要求及数据采集接口、方式。本标准适用于内蒙古自治区大数据平台进行数据采集功能研发、数据采集工具选型及其数据接入场景提供规范要求。2　规范性引用文件GB/T35295-2017信息技术大数据术语GB

4、/T35589-2017信息技术大数据技术参考模型GB/T36345-2018信息技术通用数据导入接口GB/T32908-2016非结构化数据访问接口规范GB/T32909-2016非结构化数据表示规范GB/T32630-2016非结构化数据管理系统技术要求GB/T34950-2017非结构化数据管理系统参考模型GB/T29262信息技术面向服务的体系结构（SOA）术语GB/T31916.1-2015信息技术云数据存储和管理第1部分：总则GB/T31916.2-2015信息技术云数据存储和管理第2部分：基于对象的云存储应用接口GB/T3191

5、6.3-2018信息技术云数据存储和管理第3部分：分布式文件存储应用接口3　术语及定义GB/T35295-2017和GB/T29262-2012中确立的以及下列术语和定义适用于本规范。3.1大数据bigdata25DB15/TXXXXX—XXXX具有体量巨大、来源多样、生成极快、且多变等特征并缺难以用传统数据体系结构有效处理的包含大量数据集的数据。[GB/T35295-2017,定义2.1.1]3.2非结构化数据unstructureddata不具有预定义模型或未以预定义方式组织的数据。[GB/T35295-2017,定义2.1.25]3.3

6、静态数据dataatrest处于静止状态，有典型特征表现为大数据的体量和多样性特征的数据。[GB/T35295-2017,定义2.1.37]3.4关系数据库relationaldatabase数据按关系模型来组织的数据库。[GB/T35295-2017,定义2.2.5]1　缩略语下列缩略语适用于本规范。FTP：标准的文件传输协议（FileTransferProtocol）JDBC：java数据库连接（JavaDataBaseConnectivity）Kafka：Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动

7、作流数据HTTPS：超文本传输安全协议（HyperTextTransferProtocoloverSecureSocketLayer或HypertextTransferProtocolSecure）2　概述大数据平台支持从关系型数据库、接口数据、文件、流数据等来源采集数据，实现各类数据源的采集与接入，数据包括关系数据库所存储的结构化数据、文件系统所存储的非结构文件数据、业务系统生成的接口数据及实时流数据，其中关系数据库中的结构化数据可通过关系数据库抽取；接口数据通过25DB15/TXXXXX—XXXX服务网关服务进行抽取，非结构化文件数据可通

8、过文件接收FTP服务及文件拉取FTP服务等方式实现数据接入；实时流数据主要通过推送到大数据平台实时消息队列（如基于Kafka的流处理平台）的方式进行实时接入。总体数