电子政务领域的大数据解决思路ppt课件.pptx

,解决思路,行业实践,总结,1,问题分析,电子政务领域的大数据解决思路,行业实践,总结,2,问题分析,解决思路,问题分析行业实践,解决思路总结,1,2,3,4,目录页ContentsPage,行业实践,总结,3,问题分析,解决思路,问题分析行业实践,解决思路总结,1,2,3,4,目录页ContentsPage,解决思路,行业实践,总结,4,问题分析,信息资源共享难,缺乏统一数据标准,信息孤岛现象严重,面临的问题,分析利用程度低,信息共享难度大,数据安全缺乏保障,缺乏统一资源目录,解决思路,行业实践,总结,5,问题分析,电子政务建设的问题,4,项目建设运维成本高电子政务,1,缺少总体顶层规划,2条块分割纵强横弱,资,IT3 源利用率低,标准不一、重复建设、粗放式建设,1,2,各自为政、信息共享难、业务协同更难,34,基础设施利用率低、数据价值没有发挥投资成本高、缺乏专业运维团队、运维成本高、时间成本高（部署、开发）。,解决思路,行业实践,总结,6,问题分析,电子政务的大数据建设目标,（1）构建政务大数据处理的交换、整合、共享、分析与服务的软件平台（2）建立覆盖政务数据定义、存储、管理、共享、分析与服务的标准体系（3）不断整合各类基础设施资源、数据资源，支撑大数据业务的持续发展,行业实践,总结,7,问题分析,问题分析,问题分析行业实践,解决思路总结,1,2,3,4,目录页ContentsPage,解决,思路,解决思路,行业实践,总结,8,问题分析,分布式数据中心架构,政府公共数据中心,教育行业数据中心,卫生行业数据中心,交通行业数据中心,其他,交通监控系统,公交调度系统,机动车/驾驶员管理系统,停车引导系统,摄像头,GPS,ETC,传感器,解决思路,行业实践,总结,9,问题分析,逻辑库与物理库,卫生,公安,教育,远程物理库,基础库,内存,闪存,硬盘,分布式查询引擎,逻辑库,分布式资源索引,资源调度,分级缓存本地资源调度缓冲库本地物理库远程资源调度,资源定位,资源检索,解决思路,行业实践,总结,10,问题分析,以数据流为主线，实现从数据采集、数据管理、数据服务到数据应用4个阶段的全过程管理,Web直报,大数据生命周期,数据库数据文件,数据接口,质量控制,汇集规整标准化,清洗转换,元数据库,结构化数据库,数据仓库,数据比对,分析服务,资源目录信息共享,数据展现决策支持,抽取报送,分类存储,数据接口,服务提供,非结构化数据异构数据源数据采集,分布式文件库数据管理,报表服务查询服务数据服务,数据应用,解决思路,行业实践,总结,11,问题分析,相关技术,数据分散不规范问题,数据一致性问题,数据涉密不能落地问题,数据标准不一致,数据质量问题,数据安全性问题,数据深入分析不够,数据可视化程度低,结构化大数据存储,非结构化数据存储,解决思路,行业实践,总结,12,问题分析,“三张皮”变“一张皮”,业务应用1,业务应用2,业务应用N,资源共享应用1,资源共享应用2,资源共享应用N,数据分析应用1,数据分析应用2,数据分析应用N,业务库 OLTP,共享库三类数据资源,主题库 OLAP,数据整合,共享数据,数据建模,大数据平台,即席查询,解决思路,行业实践,总结,13,问题分析,政务大数据应用架构,安全防护体系,标准规范体系,基础设施,服务器,存储,网络,资源整合、虚拟化管理、按需分配,发改委,财政,建委,资源共享、业务协同、决策分析、信息门户、,应用平台,KPI仪表盘ESB SOA数据集市主题域数据库ODS采集、整合、服务、监管,领导驾驶舱工作流引擎社管卫生环保,交通教育,业务报告Office集成建交委公安局规划局,图表展现监测警报卫生局教育局,应用支撑数据中心,解决思路,行业实践,总结,14,问题分析,实现数据采集、交换、整合、管理及共享等全生命周期管理，能实现数据的集中及分布式存储，为政府大数据项目提供基础支撑和保障,达梦大数据平台,解决思路,行业实践,总结,15,问题分析,大型通用关系型云数据库,安全,自主,联机分析处理（列存库）,大数据处理（MPP数据库）,DM7联机事务处理（兼容 oracle）安全保护,统一接口,ODBC,JDBC,PL/SQL,OCI,ADO,PDO,达梦大数据平台数据存储类（DM7）,智能索引,列存表DMMPP并行加载,解决思路,行业实践,总结,16,问题分析,达梦大数据平台数据存储类（MGBase）,Master,Master,数据服务器,数据服务器,列实例,列实例,列实例,Master数据服务器,面向列的分布式NoSQL型数据库 构建于分布式文件系,统之上,适用于半结构化和非结构化海量数据存储,解决思路,行业实践,总结,17,问题分析,达梦大数据平台异构分布式查询,关系型数据库,综合查询系统,资源目录系统,中心节点,内存闪存硬盘本地分级缓存TXT、EXCEL、XML和WebService等其他数据源,数据访问代理非关系型数据库,业务节点,各类数据源,业务节点,前置节点,分数据中心节点,数据访问代理各类数据源,数据访问代理各类数据源业务节点数据访问代理,各类数据源,数据访问代理各类数据源前置节点数据访问代理,各类数据源,采用一致接口访问本地、远程数据源 支持多级代理，适应复杂网络部署,支持关系数据库、数据文件、数据接口、NoSql数据库,解决思路,行业实践,总结,18,问题分析,前置交换库,前置交换库,前置交换库,前置交换库,达梦数据交换系统,数据中心,前置交换库,交换管理,支持异构数据源采集 Oracle,Sql ServerDM dbmsDB2MySql,SybaseExcel文件,其它文件,支持多级单位间的数据交换,解决不同单位、不同系统之间的数据采集、数据交换等要求。,业务信息库发改委,业务信息库建委,业务信息库财政局,业务信息库规划局,业务信息库审计局,达梦大数据平台数据交换类（DMETL）,解决思路,行业实践,总结,19,问题分析,1.2.3.4.,数据备份OLAPOLTP分离实时同步灾备,达梦数据同步软件(DMHS)是支持异构环境的高性能、高可靠、高可扩展数据库实时同步复制系统。对源系统的资源消耗低，数据同步速度快，支持故障恢复后断点续传。,达梦大数据平台数据交换类（DMHS）,解决思路,行业实践,总结,20,问题分析,达梦大数据平台数据交换类（请求服务引擎）,分布式请求服务引擎,穿透内外网请求转发远程服务代理中心/分中心一体化服务,分布式请求服务引擎解决数据不能落地的远程数据访问问题。,请求响应列表请求响应协调器请求响应服务器,请求监听列表数据查询器请求转发器,比对请求,交换请求,查询请求,任务池,内网,外网,外网请求服务数据库,内网请求服务数据库,数据交换平台,解决思路,行业实践,总结,21,问题分析,达梦大数据平台数据管理类（元数据管理）,版本管理 导入/导出,元数据应用,元数据,数据来源,数据仓库设计,业务分析,业务视图,数据仓库业务主题,统一数据标准，全过程元数据记录，数据转换工具 数据标准 元数据仓库 自动获取 关系维护,解决思路,行业实践,总结,22,问题分析,利用ETL工具,异构数据源支持图形化设计器丰富的清洗转换组件基于插件模式扩展,实现数据的清洗、转换、规整、治理、标准化等,达梦大数据平台数据管理类（数据整合）,解决思路,行业实践,总结,23,问题分析,数据管理 数据维护 数据权限 数据发布 备份/恢复 导入导出 基于元数据，通过快速配置实现对数据的基本管理、访问权限控制与发布等功能,达梦大数据平台数据管理类（数据资源管理）,解决思路,行业实践,总结,24,问题分析,达梦大数据平台数据管理类（资源目录）,收集整理所有相关系统、相关数据、相关服务等资源信息方便用户寻找有用的信息,行业实践,总结,25,问题分析,数据源n,解决思路数据仓库,数据共享库,ETL数据源1,质量报告质量治理,质量规则监控完整性校验,质量标准定义 质量规则设置 问题数据采集 问题数据管理 问题数据分析 数据治理,达梦大数据平台数据管理类（数据质量管理）实现数据质量监控、报准确性质性校验数量告及治理据监探测控服数据质量管理包括：务,解决思路,行业实践,总结,26,问题分析,网络,服务池,服,务,注册中心,服务总线(ESB),服,务调度器,其它系统,用户,异质异构服务集成；分布式服务集成。,简化服务的提供和使用！,达梦大数据平台数据管理类（服务管理平台）,解决思路,行业实践,总结,27,问题分析,达梦大数据平台数据仓库建模工具,1.用于数据仓库建模2.辅助数据仓库实施人员完成 从数据仓库概念设计 到最终物理实现全程,解决思路,行业实践,总结,28,问题分析,达梦大数据平台OLAP分析,1.支持ROLAP、MOLAP、HOLAP2.支持星型模型、雪花模型3.标准化MDX语言4.二次开发：支持OLAP访问接口 支持XMLA协议 图形化查询工具,解决思路,行业实践,总结,29,问题分析,达梦大数据平台数据挖掘工具,数据源类型丰富 文件 关系数据 URL 多种挖掘分析算法 Apriori BFTree FarthestFirst,多种挖掘分析方式 分类与回归分析 聚类分析 管理分析 序列分析 可视化挖掘 应用系统可集成,解决思路,行业实践,总结,30,问题分析,达梦大数据平台BI工具,提供丰富的展现形式 网络报表 分组报表 多维行列统计 卡片报表 线图 面积图 提供应用集成接口,解决思路,行业实践,总结,31,问题分析,达梦大数据平台数据门户,解决思路,行业实践,总结,32,问题分析,达梦大数据平台一张图呈现,基于地理信息、移动终端等多种方式呈现,行业实践,总结,33,问题分析,解决思路,解决,思路,解决思路总结,2,3,4,目录页ContentsPage,1,问题分析行业实践,解决思路,行业实践,总结,34,问题分析,行业实践公安行业,公安的数据来源？,容量大公安数据的特点？,结构多样化不断增长价值密度低,物理分散,视频监控卡口PGIS通信记录旅店网吧,解决思路,行业实践,总结,35,问题分析,行业实践公安行业,异构OLTP、OLAP一体化，应用层透明切换,Oracle RAC,DMHS,EP01,EP02,EP04,EP03DM MPP,数据量：1.6T（不含大对象）数据库并发连接：200-300个,解决思路,行业实践,总结,36,问题分析,行业实践公安行业,DM MPPXxx省公安厅最大单表：24.1亿行数据存储方式：MPP，哈希分布精确查询时间：1秒,Xxx,大数据量性能支撑,源库,01011,10,01010,10101,01,源库 01011,10,01010,10101,01,源库,01011,10,01010,10101,01,解决思路,行业实践,总结,37,问题分析,融合省厅、市局、外部数据资源，基于分布式查询，为领导、业务部门、外部用户提供透明的数据即服务。,.,内网数据服务平台,外网数据服务平台,资,数据仓库人口主题案件主题分布式查询引擎,公安内网服务区,公安前置服务区,公安边界安全接入平台,xxx市公安请求服务引擎,综合基础资源库,xxx市公安请求服务引擎,综合基础资源库,Xxx省公安云数据即服务,第三方系统,警综系统,大情报系统,外网共享资 01001010010110111010101010101外网请求服务引擎,内网共享01001010010110111010101010101内网请求服务引擎,综合基础资010010110111010101010101,01001,行业实践公安行业,解决思路,行业实践,总结,38,问题分析,行业实践公安行业,370个数据元标准,125个数据元标准和1358个数据项被公安部采纳推广该省被确定为全国四个资源服务试点单位之一,12万个数据项数据资源建成全省统一标准的数据资源目录,解决思路,行业实践,总结,39,问题分析,行业实践公安行业,基于大数据的动态专题模型库,技,战 法 100 余,种,模,块,化 开 发 应 用,理,念,业务模型,业务需求,固化经验，服务实战算法公式固定提取方法,各类技战法变成模型保留在云中,全警随时可以调用提升了核心战斗力,口袋、脑袋中的经验放在云上共享,解决思路,行业实践,总结,40,问题分析,行业实践公安行业,高级权限,普通权限,侦查权限,侦查权限,普通权限,网上审批,自动收回,动态权限，方便全警应用传统方式高级权限,动态权限管理技术按需申请,公安云动态权限变更,解决思路,行业实践,总结,41,问题分析,行业实践地质灾害行业,元数据管理平台建库更新,审核发布存储授权查询备份恢复导入导出,敏感数据库,基础数据库,脱密数据,复制,空间数据库,管理数据库,地质灾害防治数据仓库,元数据库,数据获取系统单机版系统采集 直接输入 GPRS无线传输及短消息传输通信平台传输 视频会议 采集数据 网络传输 数据中心连接网络、服务器、存储设备，操作系统、ArcGIS,ETL,数据质量管理体系,数据安全管理体系,数据存储方案,标准与政策,数据仓库管理,查询,删除,数据访问服务修改 插入,订阅,发布,数据管理,ETL操作数据库专业属性数据库,地质灾害预警决策与应急指挥分析处理应用,预警决策支持与应急指挥系统地质灾害预测预报系统防治工程措施分析及评估系统预测预报分析及评估系统,事务处理应用,灾害立体地质图建设系统治理工程设计信息系统勘察信息系统三维地质灾害体系统基于GIS的稳定性评价系统,OA管理子系统系统管理子系统数据管理平台数据采集子系统数据维护子系统,数据质量管,理工具,元数据,服务层,分析处理,层操作处理层,源,数,据层基础环境层,应用层,网络整合、技术整合、数据整合、应用整合、文档整合,30多个业务系统,上千种地质数据，空间数据、专业属性数据、管,理数据,解决思路,行业实践,总结,42,问题分析,基于全国产化软硬件平台构建横向打通政法委、公安厅、检察院、法院、司法厅、安全厅六个部门专网，实现案件流转纵向服务于省、市、县、乡四级用户，提升办公效率,行业实践政法行业,解决思路,行业实践,总结,43,问题分析,行业实践政府公共数据服务,数,据中心,主题数据仓库,数据,元数据库,数据仓库管理平台,综合资源库,智慧教育,智慧应用,安,全保障体系,运,维管理体系,标,准规范体系,分中心,分中心,全文检索,数据分析平台,数据质量平台,数据整合平台,集市SOA服务平台,元数据管理平台数据交换平台请求服务引擎,数据资源管理平台,智慧医疗,智慧交通,智慧社区,公共信息门户文档管理平台,信息资源目录WEB GIS3D GIS,整合各委办局分散的数据资源，构建全局的资源目录，提供数据交换服务,构建基础信息库：人口、法人、地理信息、宏观经济、,为公共服务提供数据支撑,浦东新区公共数据中心襄阳市数据中心扬州市政务资源目录武汉市资源目录和数据交换,解决思路,行业实践,总结,44,问题分析,行业实践其他案例,行业实践,总结,45,问题分析,解决思路,问题分析行业实践,解决思路总结,2,3,4,目录页ContentsPage,11,解决思路,行业实践,总结,46,问题分析,总结,特点1：一体化数据采集、整合、管理、服务的软件框架，有效支撑大数据时代的数据处理需求。,解决思路,行业实践,总结,47,问题分析,总结,特点2：基于自主可控的数据库及相关数据中心产品，实现海量数据的存储和应用，提升数据安全性和访问性能。政府的安全要求 海量数据的性能要求 信息资源的管理要求,解决思路,行业实践,总结,48,问题分析,总结,公安,消防,医疗,前置机,前置机,前置机,特点3：建立了多部门间的数据交换共享机制及自动化支撑平台。综合基础资源库,住建委,各委办局,前置机,前置机,前置机数据交换平台服务专网、电子政务网,数据标准化清洗服务,解决思路,行业实践,总结,49,问题分析,总结,特点4：建立物理库与逻辑库，实现数据分布式存储，降低数据存储压力，提高热点数据访问性能。,解决思路,行业实践,总结,50,问题分析,总结,特点5：基于传统BI与GIS结合的数据分析挖掘，基于dashboard与“一张图”的信息展示。,解决思路,行业实践,总结,51,问题分析,谢,谢,