电子政务领域的大数据解决思路课件.ppt

,解决思路,行业实践,总结,1,问题分析,电子政务领域的大数据解决思路,行业实践,总结,2,问题分析,解决思路,问题分析行业实践,解决思路总结,1,2,3,4,目录页ContentsPage,行业实践,总结,3,问题分析,解决思路,问题分析行业实践,解决思路总结,1,2,3,4,目录页ContentsPage,解决思路,行业实践,总结,4,问题分析,信息资源共享难,缺乏统一数据标准,信息孤岛现象严重,面临的问题,分析利用程度低,信息共享难度大,数据安全缺乏保障,缺乏统一资源目录,解决思路,行业实践,总结,5,问题分析,电子政务建设的问题,4,项目建设运维成本高电子政务,1,缺少总体顶层规划,2条块分割纵强横弱,资,IT3 源利用率低,标准不一、重复建设、粗放式建设,1,2,各自为政、信息共享难、业务协同更难,34,基础设施利用率低、数据价值没有发挥投资成本高、缺乏专业运维团队、运维成本高、时间成本高（部署、开发）。,解决思路,行业实践,总结,6,问题分析,电子政务的大数据建设目标,（1）构建政务大数据处理的交换、整合、共享、分析与服务的软件平台（2）建立覆盖政务数据定义、存储、管理、共享、分析与服务的标准体系（3）不断整合各类基础设施资源、数据资源，支撑大数据业务的持续发展,行业实践,总结,7,问题分析,问题分析,问题分析行业实践,解决思路总结,1,2,3,4,目录页ContentsPage,解决,思路,解决思路,行业实践,总结,8,问题分析,分布式数据中心架构,政府公共数据中心,教育行业数据中心,卫生行业数据中心,交通行业数据中心,其他,交通监控系统,公交调度系统,机动车/驾驶员管理系统,停车引导系统,摄像头,GPS,ETC,传感器,解决思路,行业实践,总结,9,问题分析,逻辑库与物理库,卫生,公安,教育,远程物理库,基础库,内存,闪存,硬盘,分布式查询引擎,逻辑库,分布式资源索引,资源调度,分级缓存本地资源调度缓冲库本地物理库远程资源调度,资源定位,资源检索,解决思路,行业实践,总结,10,问题分析,以数据流为主线，实现从数据采集、数据管理、数据服务到数据应用4个阶段的全过程管理,Web直报,大数据生命周期,数据库数据文件,数据接口,质量控制,汇集规整标准化,清洗转换,元数据库,结构化数据库,数据仓库,数据比对,分析服务,资源目录信息共享,数据展现决策支持,抽取报送,分类存储,数据接口,服务提供,非结构化数据异构数据源数据采集,分布式文件库数据管理,报表服务查询服务数据服务,数据应用,解决思路,行业实践,总结,11,问题分析,相关技术,数据分散不规范问题,数据一致性问题,数据涉密不能落地问题,数据标准不一致,数据质量问题,数据安全性问题,数据深入分析不够,数据可视化程度低,结构化大数据存储,非结构化数据存储,解决思路,行业实践,总结,12,问题分析,“三张皮”变“一张皮”,业务应用1,业务应用2,业务应用N,资源共享应用1,资源共享应用2,资源共享应用N,数据分析应用1,数据分析应用2,数据分析应用N,业务库 OLTP,共享库三类数据资源,主题库 OLAP,数据整合,共享数据,数据建模,大数据平台,即席查询,解决思路,行业实践,总结,13,问题分析,政务大数据应用架构,安全防护体系,标准规范体系,基础设施,服务器,存储,网络,资源整合、虚拟化管理、按需分配,发改委,财政,建委,资源共享、业务协同、决策分析、信息门户、,应用平台,KPI仪表盘ESB SOA数据集市主题域数据库ODS采集、整合、服务、监管,领导驾驶舱工作流引擎社管卫生环保,交通教育,业务报告Office集成建交委公安局规划局,图表展现监测警报卫生局教育局,应用支撑数据中心,解决思路,行业实践,总结,14,问题分析,实现数据采集、交换、整合、管理及共享等全生命周期管理，能实现数据的集中及分布式存储，为政府大数据项目提供基础支撑和保障,达梦大数据平台,解决思路,行业实践,总结,15,问题分析,大型通用关系型云数据库,安全,自主,联机分析处理（列存库）,大数据处理（MPP数据库）,DM7联机事务处理（兼容 oracle）安全保护,统一接口,ODBC,JDBC,PL/SQL,OCI,ADO,PDO,达梦大数据平台数据存储类（DM7）,智能索引,列存表DMMPP并行加载,解决思路,行业实践,总结,16,问题分析,达梦大数据平台数据存储类（MGBase）,Master,Master,数据服务器,数据服务器,列实例,列实例,列实例,Master数据服务器,面向列的分布式NoSQL型数据库 构建于分布式文件系,统之上,适用于半结构化和非结构化海量数据存储,解决思路,行业实践,总结,17,问题分析,达梦大数据平台异构分布式查询,关系型数据库,综合查询系统,资源目录系统,中心节点,内存闪存硬盘本地分级缓存TXT、EXCEL、XML和WebService等其他数据源,数据访问代理非关系型数据库,业务节点,各类数据源,业务节点,前置节点,分数据中心节点,数据访问代理各类数据源,数据访问代理各类数据源业务节点数据访问代理,各类数据源,数据访问代理各类数据源前置节点数据访问代理,各类数据源,采用一致接口访问本地、远程数据源 支持多级代理，适应复杂网络部署,支持关系数据库、数据文件、数据接口、NoSql数据库,解决思路,行业实践,总结,18,问题分析,前置交换库,前置交换库,前置交换库,前置交换库,达梦数据交换系统,数据中心,前置交换库,交换管理,支持异构数据源采集 Oracle,Sql ServerDM dbmsDB2MySql,SybaseExcel文件,其它文件,支持多级单位间的数据交换,解决不同单位、不同系统之间的数据采集、数据交换等要求。,业务信息库发改委,业务信息库建委,业务信息库财政局,业务信息库规划局,业务信息库审计局,达梦大数据平台数据交换类（DMETL）,解决思路,行业实践,总结,19,问题分析,1.2.3.4.,数据备份OLAPOLTP分离实时同步灾备,达梦数据同步软件(DMHS)是支持异构环境的高性能、高可靠、高可扩展数据库实时同步复制系统。对源系统的资源消耗低，数据同步速度快，支持故障恢复后断点续传。,达梦大数据平台数据交换类（DMHS）,解决思路,行业实践,总结,20,问题分析,达梦大数据平台数据交换类（请求服务引擎）,分布式请求服务引擎,穿透内外网请求转发远程服务代理中心/分中心一体化服务,分布式请求服务引擎解决数据不能落地的远程数据访问问题。,请求响应列表请求响应协调器请求响应服务器,请求监听列表数据查询器请求转发器,比对请求,交换请求,查询请求,任务池,内网,外网,外网请求服务数据库,内网请求服务数据库,数据交换平台,解决思路,行业实践,总结,21,问题分析,达梦大数据平台数据管理类（元数据管理）,版本管理 导入/导出,元数据应用,元数据,数据来源,数据仓库设计,业务分析,业务视图,数据仓库业务主题,统一数据标准，全过程元数据记录，数据转换工具 数据标准 元数据仓库 自动获取 关系维护,解决思路,行业实践,总结,22,问题分析,利用ETL工具,异构数据源支持图形化设计器丰富的清洗转换组件基于插件模式扩展,实现数据的清洗、转换、规整、治理、标准化等,达梦大数据平台数据管理类（数据整合）,解决思路,行业实践,总结,23,问题分析,数据管理 数据维护 数据权限 数据发布 备份/恢复 导入导出 基于元数据，通过快速配置实现对数据的基本管理、访问权限控制与发布等功能,达梦大数据平台数据管理类（数据资源管理）,解决思路,行业实践,总结,24,问题分析,达梦大数据平台数据管理类（资源目录）,收集整理所有相关系统、相关数据、相关服务等资源信息方便用户寻找有用的信息,行业实践,总结,25,问题分析,数据源n,解决思路数据仓库,数据共享库,ETL数据源1,质量报告质量治理,质量规则监控完整性校验,质量标准定义 质量规则设置 问题数据采集 问题数据管理 问题数据分析 数据治理,达梦大数据平台数据管理类（数据质量管理）实现数据质量监控、报准确性质性校验数量告及治理据监探测控服数据质量管理包括：务,解决思路,行业实践,总结,26,问题分析,网络,服务池,服,务,注册中心,服务总线(ESB),服,务调度器,其它系统,用户,异质异构服务集成；分布式服务集成。,简化服务的提供和使用！,达梦大数据平台数据管理类（服务管理平台）,解决思路,行业实践,总结,27,问题分析,达梦大数据平台数据仓库建模工具,1.用于数据仓库建模2.辅助数据仓库实施人员完成 从数据仓库概念设计 到最终物理实现全程,解决思路,行业实践,总结,28,问题分析,达梦大数据平台OLAP分析,1.支持ROLAP、MOLAP、HOLAP2.支持星型模型、雪花模型3.标准化MDX语言4.二次开发：支持OLAP访问接口 支持XMLA协议 图形化查询工具,解决思路,行业实践,总结,29,问题分析,达梦大数据平台数据挖掘工具,数据源类型丰富 文件 关系数据 URL 多种挖掘分析算法 Apriori BFTree FarthestFirst,多种挖掘分析方式 分类与回归分析 聚类分析 管理分析 序列分析 可视化挖掘 应用系统可集成,解决思路,行业实践,总结,30,问题分析,达梦大数据平台BI工具,提供丰富的展现形式 网络报表 分组报表 多维行列统计 卡片报表 线图 面积图 提供应用集成接口,解决思路,行业实践,总结,31,问题分析,达梦大数据平台数据门户,解决思路,行业实践,总结,32,问题分析,达梦大数据平台一张图呈现,基于地理信息、移动终端等多种方式呈现,行业实践,总结,33,问题分析,解决思路,解决,思路,解决思路总结,2,3,4,目录页ContentsPage,1,问题分析行业实践,解决思路,行业实践,总结,34,问题分析,行业实践公安行业,公安的数据来源？,容量大公安数据的特点？,结构多样化不断增长价值密度低,物理分散,视频监控卡口PGIS通信记录旅店网吧,解决思路,行业实践,总结,35,问题分析,行业实践公安行业,异构OLTP、OLAP一体化，应用层透明切换,Oracle RAC,DMHS,EP01,EP02,EP04,EP03DM MPP,数据量：1.6T（不含大对象）数据库并发连接：200-300个,解决思路,行业实践,总结,36,问题分析,行业实践公安行业,DM MPPXxx省公安厅最大单表：24.1亿行数据存储方式：MPP，哈希分布精确查询时间：1秒,Xxx,大数据量性能支撑,源库,01011,10,01010,10101,01,源库 01011,10,01010,10101,01,源库,01011,10,01010,10101,01,解决思路,行业实践,总结,37,问题分析,融合省厅、市局、外部数据资源，基于分布式查询，为领导、业务部门、外部用户提供透明的数据即服务。,.,内网数据服务平台,外网数据服务平台,资,数据仓库人口主题案件主题分布式查询引擎,公安内网服务区,公安前置服务区,公安边界安全接入平台,xxx市公安请求服务引擎,综合基础资源库,xxx市公安请求服务引擎,综合基础资源库,Xxx省公安云数据即服务,第三方系统,警综系统,大情报系统,外网共享资 01001010010110111010101010101外网请求服务引擎,内网共享01001010010110111010101010101内网请求服务引擎,综合基础资010010110111010101010101,01001,行业实践公安行业,解决思路,行业实践,总结,38,问题分析,行业实践公安行业,370个数据元标准,125个数据元标准和1358个数据项被公安部采纳推广该省被确定为全国四个资源服务试点单位之一,12万个数据项数据资源建成全省统一标准的数据资源目录,解决思路,行业实践,总结,39,问题分析,行业实践公安行业,基于大数据的动态专题模型库,技,战 法 100 余,种,模,块,化 开 发 应 用,理,念,业务模型,业务需求,固化经验，服务实战算法公式固定提取方法,各类技战法变成模型保留在云中,全警随时可以调用提升了核心战斗力,口袋、脑袋中的经验放在云上共享,解决思路,行业实践,总结,40,问题分析,行业实践公安行业,高级权限,普通权限,侦查权限,侦查权限,普通权限,网上审批,自动收回,动态权限，方便全警应用传统方式高级权限,动态权限管理技术按需申请,公安云动态权限变更,解决思路,行业实践,总结,41,问题分析,行业实践地质灾害行业,元数据管理平台建库更新,审核发布存储授权查询备份恢复导入导出,敏感数据库,基础数据库,脱密数据,复制,空间数据库,管理数据库,地质灾害防治数据仓库,元数据库,数据获取系统单机版系统采集 直接输入 GPRS无线传输及短消息传输通信平台传输 视频会议 采集数据 网络传输 数据中心连接网络、服务器、存储设备，操作系统、ArcGIS,ETL,数据质量管理体系,数据安全管理体系,数据存储方案,标准与政策,数据仓库管理,查询,删除,数据访问服务修改 插入,订阅,发布,数据管理,ETL操作数据库专业属性数据库,地质灾害预警决策与应急指挥分析处理应用,预警决策支持与应急指挥系统地质灾害预测预报系统防治工程措施分析及评估系统预测预报分析及评估系统,事务处理应用,灾害立体地质图建设系统治理工程设计信息系统勘察信息系统三维地质灾害体系统基于GIS的稳定性评价系统,OA管理子系统系统管理子系统数据管理平台数据采集子系统数据维护子系统,数据质量管,理工具,元数据,服务层,分析处理,层操作处理层,源,数,据层基础环境层,应用层,网络整合、技术整合、数据整合、应用整合、文档整合,30多个业务系统,上千种地质数据，空间数据、专业属性数据、管,理数据,解决思路,行业实践,总结,42,问题分析,基于全国产化软硬件平台构建横向打通政法委、公安厅、检察院、法院、司法厅、安全厅六个部门专网，实现案件流转纵向服务于省、市、县、乡四级用户，提升办公效率,行业实践政法行业,解决思路,行业实践,总结,43,问题分析,行业实践政府公共数据服务,数,据中心,主题数据仓库,数据,元数据库,数据仓库管理平台,综合资源库,智慧教育,智慧应用,安,全保障体系,运,维管理体系,标,准规范体系,分中心,分中心,全文检索,数据分析平台,数据质量平台,数据整合平台,集市SOA服务平台,元数据管理平台数据交换平台请求服务引擎,数据资源管理平台,智慧医疗,智慧交通,智慧社区,公共信息门户文档管理平台,信息资源目录WEB GIS3D GIS,整合各委办局分散的数据资源，构建全局的资源目录，提供数据交换服务,构建基础信息库：人口、法人、地理信息、宏观经济、,为公共服务提供数据支撑,浦东新区公共数据中心襄阳市数据中心扬州市政务资源目录武汉市资源目录和数据交换,解决思路,行业实践,总结,44,问题分析,行业实践其他案例,行业实践,总结,45,问题分析,解决思路,问题分析行业实践,解决思路总结,2,3,4,目录页ContentsPage,11,解决思路,行业实践,总结,46,问题分析,总结,特点1：一体化数据采集、整合、管理、服务的软件框架，有效支撑大数据时代的数据处理需求。,解决思路,行业实践,总结,47,问题分析,总结,特点2：基于自主可控的数据库及相关数据中心产品，实现海量数据的存储和应用，提升数据安全性和访问性能。政府的安全要求 海量数据的性能要求 信息资源的管理要求,解决思路,行业实践,总结,48,问题分析,总结,公安,消防,医疗,前置机,前置机,前置机,特点3：建立了多部门间的数据交换共享机制及自动化支撑平台。综合基础资源库,住建委,各委办局,前置机,前置机,前置机数据交换平台服务专网、电子政务网,数据标准化清洗服务,解决思路,行业实践,总结,49,问题分析,总结,特点4：建立物理库与逻辑库，实现数据分布式存储，降低数据存储压力，提高热点数据访问性能。,解决思路,行业实践,总结,50,问题分析,总结,特点5：基于传统BI与GIS结合的数据分析挖掘，基于dashboard与“一张图”的信息展示。,解决思路,行业实践,总结,51,问题分析,谢,谢,空间大数据,目录,一、大数据的涵义与研究意义二、与空间信息和位置相关的大数据三、空间大数据的应用四、空间大数据的存储五、总结,一、大数据的涵义与研究意义,大数据：大型复杂数据集的聚合，这些数据集的规模和复杂程度常超出目前数据库管理软件和传统数据处理技术在可接受时间下的获取、管理、检索、分析、挖掘和可视化能力。,一、大数据的涵义与研究意义,大数据的特点：,）Volume（体量大）：大量TB级以上已有的数据等待处理；）Velocity（速度快）：需要响应以s甚至ms计的流数据不断产生；）Variety（模态多样）：数据来源和类型繁多文本、图片、视频等结构化和非结构化数据并存；）Veracity（真伪难辨）：由于数据的噪音、缺失、不一致性、歧义等引起的数据不确定性；）Value（价值）：大数据使得人们以前所未有的维度量化和理解世界，蕴含了巨大的价值，大数据的终极目标在于从数据中挖掘价值。大数据的核心：预测,一、大数据的涵义与研究意义,研究大数据的意义：科学进步,图灵奖获得者吉姆格雷提出：大数据是科学研究的第四范式，是从计算密集型科研发展到以大数据为基础的数据密集型科研方法。,科学研究方法的发展,真正的革命并不发生在分析数据的机器，而在于数据本身和我们如何运用数据。,一、大数据的涵义与研究意义,研究大数据的意义：社会变革,2009至今美国政府全面开放了40万联邦政府原始数据集。大数据已成为美国国家创新战略、国家安全战略、国家IT产业发展战略以及国家信息网络战略的交叉领域、核心领域。,21世纪数据的价值有可能等同于20世纪的石油，大数据研究使得人们降低了对因果关系的渴求，而关注相关关系。只需要知道是什么，而不需知道为什么。这将使得理解现实和做决定的基础也将受到根本性挑战。,社会,价值,一、大数据的涵义与研究意义,研究大数据的意义：经济增长,二、与空间信息和位置相关的大数据,指直接或间接关联着相对于地球的某个地点的数据，包括自然地理数据和社会经济数据。,空间媒体数据,地理数据,轨迹数据,包含位置的数字化的文字、图形、图像、视频影像等媒体数据，主要来源于移动社交网络、微博等新型互联网应用,指通过GNSS等测量手段以及网络签到等方法获得的用户活动数据，可以被用来反映用户的位置和用户的社会偏好。,位置大数据的分类,二、与空间信息和位置相关的大数据,地理数据,内容：土地覆盖类型数据、地貌数据、土壤数据、水文数据、植被数据、居民地数据、河流数据、行政境界及社会经济方面的数据等。特点：数据体量大、较为规则化、变化较慢。,二、与空间信息和位置相关的大数据,轨迹数据,内容：个人轨迹数据、群体轨迹数据、车辆轨迹数据等,特点：数据体量大、信息碎片化、准确性较低、半结构化,出租车轨迹数据示例,二、与空间信息和位置相关的大数据,社会交流、个性化信息推送、驾驶安全、智能驾驶,为个人生活服务,城市规划、疾病控制、智能交通、节能减排、环境保护、应急响应,企业调度、门店选址、广告推送、位置营销,为企业经济服务,为城市运行服务,位置大数据的作用,三、空间大数据的应用,1.空间大数据与智能交通,Inrix是美国的一家交通数据处理公司，也是全球领先的道路交通信息和驾驶员服务供应商。他们设计的APP是一款致力于为全球交通问题带来智能数据和先进的分析方法的交通智能化平台。,三、空间大数据的应用,利用大数据预判未来交通信息和路况是核心,2012年英国伦敦奥运会利用INRIX软件和在线服务确保交通顺畅;在美国有超过25个州的交通部门使用INRIX数据辅助交通管理。,三、空间大数据的应用,2015年2月11日，国内智能交通行业领军企业北京千方科技股份有限公司与INRIX签署战略合作协议。千方科技在国内智能交通行业具有深厚的理解和市场、技术积累，INRIX在欧美地区具有成熟的交通信息化解决方案和先进理念。双方将结合各自的优势，整合交通信息化及数据分析解决方案和产品，共同拓展智能交通行业市场，双方将在交通大数据分析、增值挖掘、交通仿真等技术方向深度交流，提升双方专业化及技术能力。不过，由于涉及国内职能部门的数据保护问题，国内手机用户还未能够体验这款App。,三、空间大数据的应用,2.空间大数据与社会生活,2014年春节期间，百度地图定位可视化大数据播报的国内春节人口迁徙情况。,2015年最近一周南京夫子庙景区热力图,三、空间大数据的应用,3.空间大数据与应急管理,2013年4月15日，波士顿马拉松爆炸案事发几小时内，数以千计的在场群众将事发现场拍摄的照片和视频放到了公共网络平台上，这些照片和视频图像来自各种相机，手机和平板电脑。不到一天时间，嫌犯被确认并在纽约被抓获这是一种典型的利用空间社会媒体的位置大数据与反犯罪机构的专业能力结合，建立的城市安全与应急新体制,位置大数据研究涉及到数据采集、数据处理、计算和存储以及可视化等一套完整的方法体系,四、空间大数据的存储,四、空间大数据的存储,海量数据的高效存储,支持丰富的数据类型,处理速度快,数据库应当易于扩展,大数据下对于数据库的需求,四、空间大数据的存储,CAP,NOSQL,BASE,不保证遵循 ACID原则,分布式的,非关系型的,四、位置大数据的存储,必须保证,两者权衡,一致性,可用性,分区容 错性,BASE,四、空间大数据的存储,灵活,高可用性,高性能,易扩展,NoSQL数据库的特点,四、空间大数据的存储,Key-value型,文档型,图形数据库,列式存储,四、空间大数据的存储,定义一个大的有序结构数组HashValuem，用来存放各信息,查询,哈希表,哈希函数,当查询的时候再使用哈希函数得到这个下标值,编写一个哈希函数将关键值的名字转换为HashValuem中的某个下标值x,Key-value型,四、空间大数据的存储,文档,集合,数据库,集合就是一组文档。集合是无模式的。,多个文档组成集合多个集合数据库。,它包含多个键/值对文档中的键/值对是 有序的,文档型数据库,四、空间大数据的存储,四、空间大数据的存储,四、空间大数据的存储,四、空间大数据的存储,四、空间大数据的存储,这便是一个document，使用JSON格式，一目了然。其中的geom即为Geometry类型的数据，即地理空间数据，也是采用JSON格式存储，这样后续的空间索引与空间查询将十分方便。,四、空间大数据的存储,db.xqpoint.find(geom.coordinates:122.53233,52.968872),精确查询,邻域查询,db.xqpoint.find(geom.coordinates:$near:122,52),db.xqpoint.find(geom.coordinates:$near:122,52).limit(5),db.xqpoint.find(geom.coordinates:$near:122,52,$maxDistance:5).limit(5),四、空间大数据的存储,范围查询,box=80,40,100,50 db.xqpoint.find(geom.coordinates:$within:$box:box),center=80,44 radius=5 db.xqpoint.find(geom.coordinates:$within:$center:center,radius),polygon1=75,35,80,35,80,45,60,40 db.xqpoint.find(geom.coordinates:$within:$polygon:polygon1),五、总结,大数据研究带来的挑战,