大数据架构规划

《大数据架构规划》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、大数据应用架构和演进路线目录一、产品需求理解和整体规划二、演进路线三、开发及运营能力四、产品运行能力可视化能力视图分析数据查询引擎数据服务平台指标服务管理系统指标计算服务API服务开发与封装服务管理服务运维与监控可视化产品开发管理平台开发者前台可视化产品组装管理者后台控件、组件、产品管理公共中台服务生态运营管理PC产品门户可视化APPHbaseRKHiveSQLKylinSparkSQL路由管理数据模型开发指标服务开发与封装组件控件开发SOR层模型DPA层模型统一视图应用指标库会员流量销售服务物流金融财务……产品页面开发平台能力构建数据开发、可视化产品开发诸葛决策支持鹰

2、眼……组件实例化页面组装权限管理组件开发控件开发指标管理服务指标库模型指标审核元数据管理平台整体应用架构图数据模型层数据封装平台元数据管理平台自助分析开发管理平台诸葛前端门户产品专区主页配置产品展示前端产品展示前端高速数据查询引擎社区交流指标管理服务开发者前台开发管理服务中台组件管理服务组件市场服务产品管理服务权限管理服务管理者后台运营后台系统分类标签管理指标服务浏览组件市场管理产品市场管理SparkSQLKylin监控分析权限管理分业务模型（轻度汇总）统一视图（高度汇总）应用指标库（DM层）明细数据表（SOR层）产品运行能力开发及运营能力数据服务能力公共服务数据封装服

3、务开发管理指标服务浏览指标服务开发标准指标服务组合指标服务服务运维管理指标计算服务日志&监控指标库模型数据模型元数据定义指标审核监控分析用户分析社区管理服务测试验证指标管理指标服务管理组件管理产品组装产品管理监控分析组件、产品性能监控服务产品页面产品页面建设优先级数据模型层数据封装平台元数据管理平台自助分析开发管理平台诸葛前端门户产品专区主页配置产品展示前端产品展示前端高速数据查询引擎社区交流指标管理服务开发者前台开发管理服务中台组件管理服务组件市场服务产品管理服务权限管理服务管理者后台运营后台系统分类标签管理指标服务浏览组件市场管理产品市场管理SparkSQLKyli

4、n监控分析权限管理分业务模型（轻度汇总）统一视图（高度汇总）应用指标库（DM层）明细数据表（SOR层）低优先级高优先级公共服务数据封装服务开发管理指标服务浏览指标服务开发标准指标服务组合指标服务服务运维管理指标计算服务日志&监控指标库模型数据模型元数据定义指标审核监控分析用户分析社区管理服务测试验证指标管理指标服务管理组件管理产品组装产品管理监控分析组件、产品性能监控服务产品页面产品页面高优先级高优先级高优先级高优先级高优先级高优先级当前数据分析产品开发模式数据开发页面产品开发产品部署和发布缺点：数据开发缺少元数据平台支撑，指标的口径管理比较孤立不同数据分析产品定制数据

5、指标，数据指标没有服务化，无法共享；导致数据在不同产品间的一致性差异页面展示没有组件化，页面模块无法重复利用产品优化通道没有建立，缺少持续改善和提升的输入意见优点开发模式比较简单，容易掌握小规模数据分析产品开发有优势标准数据服务的开发流程数据分析产品开发流程数据分析产品开发新生态汇总模型的建设构建统一业务视图构建标准指标库构建标准指标数据服务控件：数据表达的最小元素数据组件库：基于控件开发和封装页面组装：组件的数据实例化组装产品及发布标准数据服务发布引用标准数据服务非标数据服务后端管理与运营监控与数据采集用户交流反馈需求与数据分析产品优化与改进目录一、产品需求理解和整体

6、规划二、数据服务能力三、开发及运营能力四、产品运行能力标准指标设计标准指标ID指标名称/业务口径描述分析维度组合1分析维度组合2分析维度组合n指标的技术口径A11指标的技术口径B数据仓库轻度汇总表数据明细表指标库高度聚合表指标ID标准指标服务指标名称业务口径分析维度组合指标计算参数技术口径输入输出数据描述/指标值列表指标计算服务一、按ID、分析维度读取元数据服务二、按指标参数组合查询SQL三、调用数据计算引擎标准指标定义系统及平台定位数据模型层：（持续建设中）经过梳理和规整的数据表，数据描述实体和属性在元数据管理平台进行清晰而准确的管理；数据存储可以落在Hive、或者D

7、BMS中数据封装平台：（系统新建）1.开发管理，基于指标技术元数据封装为标准指标服务，并在此基础上定义组合指标服务2.提供数据封装服务，响应组件调用3.公共服务，指标计算服务4.运维管理服务，性能监控，日志管理等元数据管理平台：（功能扩充）1.指标库模型定义及数据存储2.指标库管理服务，如新增、删除、修改；指标库查询服务3.指标库管理前端功能，指标库新增审核高速数据查询引擎：（系统新建）对大量数据进行多维度聚合查询的技术组件，追求高性能、高并发量、高扩展性目录一、产品需求理解和整体规划二、数据服务能力三、开发及运营能力四、产品运行能力开发