数据服务总线DSB课件.pptx
数据开放平台数据服务总线DSB,数据开放平台数据服务总线DSB,背景介绍数据开放平台数据服务总线简介数据对外应用门户简介应用案例,背景介绍,背景介绍,目前移动存在着各种各样的小型应用系统，很多小系统为自身建设需要直接从底层明细数据开始加工。这种烟囱式的开发模式导致数据重复加工、最佳实践难以复制、数据安全缺乏统一管控和指标口径不一致，数据质量无法保障等问题。,诸如地市平台这种最佳实践在全省推广过程中，会遇到因为各系统环境不一致、数据结构不一致等问题，造成最佳实践难以复制或者复制成本非常高，只能集中建设。,问题2：烟囱式的开发导致最佳实践难以复制,问题3：烟囱式的开发导致数据安全缺乏统一管理,诸如各个地市平台等应用系统都是从省公司获取明细数据，自行进行数据处理。对相同数据进行重复加工，造成了系统的重复建设、资源的浪费。,问题1：烟囱式的开发模式造成资源浪费,各小系统中数据处理的业务处理逻辑不完全一致，导致各系统中相同指标的数值差异，造成频繁的与省公司进行指标口径确认。,问题4：烟囱式的开发导致指标不一致，数据质量无法保障,各种各样的小系统,用户隐私数据分散在各个小系统中，对小系统缺乏统一安全管控，带来了严重的数据安全隐患。,背景介绍 目前移动存在着各种各样的小型应用系统，,传统烟囱式的应用建设模式,基于数据服务的应用建设模式,轻平台，重应用,重平台，轻应用,烟囱型应用：每个应用都从底层数据源开始独立进行数据处理和访问。存在问题：数据缺乏统一安全管理、数据重复处理、资源浪费、指标口径差异,数据应用建设应该向”重平台,轻应用”方向发展,数据服务型应用：大数据平台集中数据加工，数据开放集市进行数据模型处理，将数据结果通过数据封装提供给各应用平台，实现数据和应用的解耦。,传统烟囱式的应用建设模式基于数据服务的应用建设模式轻平台，重,通过引入数据开放平台，实现数据能力的统一输出,通过引入数据开放平台，将数据封装并以服务方式统一对外输出：充分实现数据共享，改变过去烟囱式的系统建设方式，防止系统重复建设。实现数据和应用解耦，将数据整合平台与应用平台分离，确保用户隐私数据的安全。通过标准化的数据服务，实现指标口径的统一、实现了最佳实践快速复制推广能力。,企业数据中心,数据服务管理,数据服务总线,数据服务开放平台：通过数据服务总线对数据服务进行统一对外输出，并对数据服务进行统一管理，包括数据服务管理、服务监控、服务安全、服务开发、提供者视图和消费者视图等功能。,数据服务开放平台,旅游管理局,VGOP,指标,个性化应用,客服,征信平台,服务管理,服务监控,服务安全,服务开发,提供者视图,消费者视图,通过引入数据开放平台，实现数据能力的统一输出 通过引,对数据开放平台的愿景,定位,制定企业标准数据服务接口，把大数据平台数据融合中心数据分层封装，以服务形式开放给数据使用者，满足不同用户的数据需求。,目标,对内-不同业务单元数据互通、共享，把部门数据变为公司数据。对外-链接企业与企业、企业与个人，打造数据应用生态链，实现数据增值；,对数据开放平台的愿景定位制定企业标准数据服务接口，把大数据平,数据开放平台的价值：促进数据运营能力提升、数据服务能力提升、数据价值提升与业务创新能力提升,实现应用与数据解耦,提供长尾数据业务,实现服务能力提升,促进数据应用创新,数据开放平台的价值：促进数据运营能力提升、数据服务能力提升、,数据开放平台总体架构,对传统数据请求进行封装，采用数据应用的方式为企业内外部用户的多样性数据服务支撑，降低数据使用成本，提升数据开发能力。,数据服务总线,数据开放平台,应用开放门户,企业数据中心,应用开发工具,采用数据封装，构建SOA架构的企业统一数据服务支撑,企业数据应用快速开发工具包,移动经分,客户经理助手,位置运营,客户偏好,自助数据分析,数据服务总线：采用数据封装技术，标准化地把数据转换为数据服务，实现应用与数据的解耦，满足内外部数据开放的需求。应用开发工具：提供数据可视化、高效能的开发工具集，帮助数据使用者快速进行基于数据服务的应用开发。开放应用商店：作为数据开放产品的统一发布平台，实现对数据产品的分类管理、生命周期管理、交易管理、定价管理和结算管理等。,数据开放平台总体架构 对传统数据请求进行封装，采用数据,数据开放平台针对不同业务需求，提供四种开放模式,透明传输不加工,产品构建,统一的访问入口和出口,融合数据产品合作方数据同运营商数据融合，构建新的数据产品,Open API运营商数据直接开放给第三方使用，如景区客源数据服务,计算能力开放大数据平台计算能力开放给移动的业务部门、厂商、合作伙伴,标准数据产品运营商自有数据构建应用：如商铺选址助手、营销指南针,数据提取,价值提取能力提取,适用行业,政府、金融等行业客户,移动内部系统,第三方合作伙伴,企业客户,对各种数据进行不同程度封装，通过各种服务方式向不同应用系统提供数据服务，满足企业内外部用户的多样性数据请求。建立数据服务请求和数据之间标准化的访问接口，提升与内外部系统的互动和信息共享能力。,服务构建,数据开放平台针对不同业务需求，提供四种开放模式透明传输产品构,数据开放原则：“标准化、集中化、安全化”,自助分析服务,文件，视图，数据流,数据开放,交互原则,交互过程,服务开放,信息开放,数据开放,用户在界面进行自定义参数输入，向数据开放平台直接获取结果进行展现,外部系统向数据开放平台订阅相应数据/信息，开放平台按照订阅提供数据文件/数据流,异步/同步交互,同步交互,数据中心,数据开放原则：“标准化、集中化、安全化”自助分析服务文件，视,现有应用平台现状,地市应用,省份数据中心,数据中心,应用数据库,数据结果,数据应用,明细数据 结果数据,好处：1、省IT部门工作量小，无需应用建设，对系统稳定性影响小2、应用建设者开发灵活方便，能够快速响应开发需求，并实现复杂逻辑需求。,存在的问题：1、省IT部门将沦为数据提供者，而非价值提供者，核心能力外流2、全省各平台各自进行数据加工，造成资源浪费。3、用户明细数据，分散在各子系统平台中，存在严重的安全隐患,应用开发,现状：各个部门应用直接从IT部门数据中心获取用户详单数据、结果数据，并在此基础上进行数据应用开发，存在着严重的安全隐患。,推荐度,现有应用平台现状地市应用省份数据中心数据中心应用数据库数据结,建议方案1：需求方提交业务需求，IT部门实现,数据中心,数据应用,数据开放集市,需求沟通,数据服务总线,优点：1、所有数据都在IT部门内部，确保数据安全性2、数据使用的核心能力仍在IT部门,缺点：1、需要较多的需求开发人员，需要增加应用开发预算2、复杂需求需要进行反复沟通3、难以支撑业务复杂、需求频繁变动、及时性高的需求支撑,服务开发,应用开发,推荐度,应用开发,地市应用,省份数据中心,数据中心管理者,应用建设者,应用建设者提交服务开发需求，省公司IT部门按照需求内容进行数据服务开发，将数据结果以服务的方式提供给应用平台，应用平台在此上进行后续数据应用开发。,数据开放平台,建议方案1：需求方提交业务需求，IT部门实现数据中心数据应用,建议方案2：应用建设方直连数据库进行开发,优点：1、所有数据都在IT部门内部，确保数据的相对安全性2、应用建设者自行开发，可实现业务逻辑复杂、响应速度快的需求,缺点：1、开发者可接触到明细数据，存在安全风险2、开发过程和开发质量不可控，低质量开发可能会严重影响系统性能,推荐度,省公司将“数据开放集市”直接开放给应用建设者，应用建设者自行进行数据服务开发，将数据结果以服务的方式提供给应用平台，应用平台在此上进行后续数据应用开发。,数据中心,数据应用,数据开放集市,服务开发,数据服务总线,应用开发,应用开发,地市应用,省份数据中心,应用建设者,数据开放平台,建议方案2：应用建设方直连数据库进行开发优点：缺点：推荐度,优点：1、开发人员与真实数据隔离，确保了数据的绝对安全性2、应用建设者根据应用需求自行开发，可实现业务逻辑复杂、响应速度快的需求,缺点：1、在测试库进行应用开发，需要审批才能上线，无法立即进行数据准确性验证2、需要IT部门建设“开发者IDE”工具,建议方案3：应用建设方直连数据库进行开发,推荐度,省公司提供测试环境、开发者IDE工具，应用建设者此基础上进行数据服务开发，上线需经过省公司IT部门审核，结果数据以服务的方式提供给应用平台，应用平台在此上进行后续数据应用开发。,数据中心,数据应用,数据开放集市,服务开发,数据服务总线,应用开发,应用开发,地市应用,省份数据中心,应用建设者,数据开放平台,开发库,数据服务总线,测试环境,上线审批,开发者IDE,优点：缺点：建议方案3：应用建设方直连数据库进行开发推荐度,背景介绍数据开放平台数据服务总线简介数据对外应用门户简介应用案例,背景介绍,数据开放平台架构,数据开放集市：作为数据加工、数据封装的数据存储集市，实现了跨库的数据融合与个性化服务加工。服务开发：在测试环境中，利用服务开发工具进行服务开发，开发完后进行服务测试、服务上下线管理。执行引擎：根据服务调用请求，自动完成消息路由、协议转化等过程，最终响应服务结果给服务调用者。运行监控：监控正在运行的数据服务的响应情况、数据流程的监控、系统集群的监控。运营管理：对服务调用结果进行日常运营分析、并对收费服务进行计费结算。服务管理：执行对数据服务的注册、数据安全等管理，并协助进行服务查找、服务生命周期管理。,数据开放平台架构数据开放门户应用开发工具数据服务总线服务输出,数据服务提供,应用上架,数据服务开发,数据应用开发,应用订购及使用,数据拥有者,数据结果封装,数据服务发布,公共数据模型开发,应用开发,能力封装&共享,数据服务订阅,数据应用开发,数据应用开发,应用开发工具包,数据应用打包,应用消费者,查看及试用数据应用,数据开放门户,订购数据应用,支付及使用,数据开放平台全流程示例,数据服务提供应用上架数据服务开发数据应用开发应用订购及使用数,数据服务调用场景,电渠,数据服务调用场景数据服务开放平台企业数据中心服务查询认证鉴权,数据服务开放平台业务场景：“重量级的平台，轻量级的应用”的建设模式,数据服务开放平台业务场景：“重量级的平台，轻量级的应用”的建,背景介绍数据开放平台数据服务总线简介数据对外应用门户简介应用案例,背景介绍,数据共享层(数据服务层),数据服务总线功能架构,数据服务开放平台,数据服务总线,服务查找,服务路由,服务鉴权,数据服务管理,服务管理,服务监控,服务安全,提供者视图,使用者视图,服务开发,服务注册,服务发布,服务管理,服务监控,服务打包,在线开发,服务发布,服务上下线,证书管理,秘钥管理,鉴权认证,权限管理,目标服务监控,服务监控,预警规则,日志,服务负载,服务列表,协议转换,访问控制,用户注册,服务订购,API说明,在线问答,数据共享层(数据服务层)数据服务总线功能架构数据服务开放平台,可视化的服务开发管理,可视化的服务开发管理降低开发难度开放服务管理,全程监控服务运行过程，为服务运维和优化提供支撑,通过服务统计模块，可以直观的监控服务运行情况，保障开放平台的稳定、提升系统维护的体验感知。,服务调用时长监控,系统告警&日志管控,服务访问情况,服务响应情况,服务运行监控,全程监控服务运行过程，为服务运维和优化提供支撑通过服务统计模,数据服务管理页面展示,数据服务管理页面展示,数据服务监控页面展示,提供统一服务监控工具，对总线中各服务运行情况进行监控。对其中重要服务进行短信告警。提供图形化监控界面。支持对服务的监控信息汇总与统计，产生分析统计报告。,数据服务监控页面展示提供统一服务监控工具，对总线中各服务运行,访问安全控制,用户名+密码,IP地址+端口,黑白名单,电子令牌,对请求调用端的多种鉴权认证方式,访问安全控制用户名+密码IP地址+端口黑白名单电子令牌对请求,服务阶段,下线阶段,订阅阶段,注册阶段,数据服务的管理流程,账号注册,账号审核,服务订阅,服务注册,服务发布,订阅审核,用户分析,订阅分析,服务监控,获取服务,获取可订阅的服务列表,获取订阅相关权限,根据订阅详情进行服务质量监控,服务质量分析,服务热度分析,下线提醒,下线申请,取消订阅,确认下线,服务下线,下线影响分析,数据源质量分析,监控规则设置,评估结算,服务阶段下线阶段订阅阶段注册阶段数据服务的管理流程账号注册账,数据开放平台特点,数据开放平台进行统一开发管理，提供数据可视化、服务可视化、应用开发可视化等全流程可视化应用开发工具并通过完善的数据安全保障支撑无忧对外开放。,应用开发简单易用,统一开发管理,数据可视化操作提供丰富的图形展示组件和模板可视化应用开发无需学习数据库即可完成服务及应用开发,开放应用开发环境提供统一的跨平台开发框架提供验证测试工具支持在线部署配置管理工具,数据安全有保障,权限管控数据脱敏身份认证日志监控,开放的数据服务接口,提供标准化数据接口提供多协议支持提供完善的API文档支持订阅、推送支持多平台无缝接入,数据开放平台特点数据开放平台进行统一开发管理，提供数据可视化,背景介绍数据开放平台数据服务总线简介数据对外应用门户简介应用案例,背景介绍,大数据对外应用门户的功能架构,能力开放平台,景区热度指数,交通监控,其它应用,电商类偏好分析,大数据对外应用门户的功能架构能力开放平台.潜在游,数据产品的上下架管理,概览：交易过程的数据产品管理，主要包含了产品的上架、下架、审核、更新等步骤及操作流程说明。,（图：产品展示效果示意图）,数据开放门户,等待审核,数据产品提供商上传/更新产品,填写信息/定价,上架审核,应用上架,提交下架申请,终止发布,发现盗版、侵权、重大BUG等,上传/更新应用,数据产品提供商产品下架,下架审核,数据产品的上下架管理概览：交易过程的数据产品管理，主要包含了,数据产品的计费与支付,按会员收费：按产品会员或平台会员，一次性收费后可使用多项子产品，适用于有较多子产品的产品。,按次收费：按用户购买次数收费，可一次性结算完整，该定价模式适用于系统性较强的产品。,按流量收费：按流量使用的多少，统计后按周期收费，该定价模式灵活方便。,其他：其他的支付平台或方法的提供，有利于多样性用户的扩展，例如paypal等。,接入网银平台：最稳妥的方式之一，可以直接入账，方便用户的即时买卖。,接入支付宝等第三方支付平台：使用使用人数较高且有一定安全性的第三方平台，提高平台的交易效率。,交易流程：,数据购买方,直接购买,支付,开通数据产品使用权限,评价,注册,升级高级会员,数据产品的计费与支付按会员收费：按产品会员或平台会员，一次性,采用扁平化设计（flat design）风格。该设计以用户为中心，一切从用户操作使用出发，不为做设计而设计，不让复杂的视觉设计成为用户使用的障碍。通过大的色块进行层次区分，没有多余的视觉元素，可以是用户更多的聚焦于数据和业务。,Windows 8,iOS 7,践行扁平化设计理念,门户采用扁平化、互联网的设计理念,采用扁平化设计（flat design）风格。Windows,对外门户首页页面效果,对外门户首页页面效果,门户展示数据分析报告,对外应用门户提供行业分析报告展示，吸引用户阅读、下载和分享。,一键下载,一键分享,网友评论,门户展示数据分析报告对外应用门户提供行业分析报告展示，吸引用,门户展示数据应用产品,教育开放式学习先进教室,零售竞品分析热卖产品视图精细营销,医疗健康医疗分析疾病传染控制,交通物流路线监控商品位置监控快递员交往圈分析,金融投资APP推荐股票关注度排行,政务智慧城市信息惠民,游戏相关游戏推荐好友交往圈雷达,旅游景区流量预测路况实时监控景点路线实时监控,房产楼盘选址楼盘用户挖掘,电商运营位优化商品推荐商户商品投放,大数据开放门户,运营商,企业精准营销信用评估 精确选址,舆情舆情分析事件溯源追踪,对外应用门户为各行业提供了标准化的大数据应用产品，方便用户直接使用数据应用产品。,门户展示数据应用产品教育零售医疗交通金融政务游戏旅游房产电商,门户展示标准的数据服务,对外应用门户展示了对外提供的数据服务，用户可按照服务调用说明进行数据服务的调用。,终端行业,APP类,数据服务,基础属性,人流位置,APP用户量排名某一APP用户特征某一APP用户量趋势.,某一位置客流趋势热点区域客流排行某一位置客流特征.,终端品牌排名及比例终端型号排名及比例某终端型号趋势.,年龄段分布及比例各地市性别比例各区域消费能力查询.,门户展示标准的数据服务对外应用门户展示了对外提供的数据服务，,
