智慧财政大数据云平台解决方案课件.pptx

智慧财政大数据云平台解决方案,目录,智慧财政大数据云平台综述,1,智慧财政大数据云平台总体架构,2,智慧财政大数据云平台演进路线,3,智慧财政大数据云平台一期实施重点,4,附录：数据质量管理平台,5,共享历史-传统共享,对管理和内控主要是人为监控，没有太大帮助,票据传递造成很大成本，对成本降低的作用有限,共享财务标准业务流程,各部门共享平台,共享中心/共享分中心,建设目标-业财资税数字化生态圈,数据控制,数据驱动,数据驱动,数据驱动,业、财、资、税及数据分析建设,生态圈提升企业财政价值创造能力,支撑精准决策创造价值,通过管理提升创造价值,生态良性循环创造价值,推动管理会计体系建设,提升价值创造能力,生态圈提升企业财政价值创造能力,提升价值创造能力,支撑精准决策创造价值,通过管理提升创造价值,生态良性循环创造价值,推动管理会计体系建设,生态圈提升企业财政价值创造能力,提升价值创造能力,支撑精准决策创造价值,通过管理提升创造价值,生态良性循环创造价值,业务数据,财务数据,财务部门,财务信息,业务信息,业务部门,业财生态圈,加工,生产,驱动,业务,业务,支撑,支撑,反映,控制,分析,推动管理会计体系建设,生态圈提升企业财政价值创造能力,战略财务,业务财务,共享财务,协同和推动,决策和配置,通过管理提升创造价值,生态良性循环创造价值,推动管理会计体系建立,支撑精准决策创造价值,提升价值创造能力,记录和控制,财务账务查询、年初、年末处理,费用报销,业务系统,财务共享平台,核算系统,网报系统,资金系统,查询分析系统,影像系统,接口,资金支付管理、资金业务管理、,影像附件管理,财务业务查询,业务相关系统【核心业务处理】,主数据平台,组织机构、供应商主数据、物资、机械、周转材主数据,接口,信息化生态圈体系架构-工业板块,信息化体系部署架构,二级云平台,CONTENTS,目录,二、业务系统的建设,三、财务系统的建设,四、资金的闭环管理,一、业财资税生态圈,五、增值税风险控制,六、数据资产及决策,数字生态共享建设方案,预警模型,数据采集,风险预警,建模工具,领导查询,展现设置,移动展现,数据分析,数据分析,门户组件,数据组件,权限体系,表单引擎,基础数据,流程引擎,通讯组件,业务引擎,移动组件,制证组件,任务组件,影像组件,集成组件,建模组件,支撑环境,共享接口系统,报账平台,资金系统,账户管理,资金管理,票据指令,付款指令,报表系统,报表设置,报表填报,合并报表,基础数据标准化,业务规范,业务流程标准化,业务模式标准化,业务数据标准化,中铁财务共享平台,数据池,业务数据 数据分析财务数据 财务报表,任务池,流程管理 分发机制任务管理 绩效考核,票据池,影像管理 附件管理影像采集 影像查看,核算系统,账龄分析,资产管理,税务系统,对账平台,数据接口,数据接口,工业业务系统,采购管理 生产管理销售管理 合同管理,主数据平台,人员信息 客商信息机构信息 顶层数据,为财政提供专业化核算服务,负责财政资金风险监控,负责业财政策解读与标准化,负责财政数据资产的采集和管理,股份数据中心及主数据建设,组织架构体系组织机构、职能部门、企业职员、系统用户、岗位职责等。,核算政策体系会计科目、辅助类别、银行账户、客商往来、业务板块等。,其他标准字典国家地区、企业类型、单位隶属关系、营业状态、职称等。,基础数据申请及审批机构、部门、人员、客商、字典新增及变更审批，申请审批功能。,跨局关联交易跨局管理交易的数据的抽取及对账。,股份数据分析各局共享数据抽取及分析展现。,共享平台建设,共享站点,共享站点及分中心管理；共享业务分组及岗位设置。,共享会计,共享会计注册及管理。,任务处理,共享任务的分发机制；共享标准节点：初审、符合、资金处理节点。,影像系统,影像采集、发票识别、影像上传、影像管理、影像补扫、电子文档等。,核算系统建设,通知书的发出及接收，通知书挂接凭证及通知书生成凭证等。,年初余额、凭证查询、凭证归档、自动凭证、期末调汇、常用凭证模版、期末结转、开下年账等。,财政科目余额表及明细账、财政辅助余额表及明细账、法人一套账、财政凭证查询等。,账套管理及核算单元的建立及设置，账套关账等。,机构的科目余额表及明细账、辅助余额表及明细账、试算平衡表、凭证登记表等。,机构名称、工号管理、合同登记、银行账户、金融资产、往来客商、个人客商、数据同步、私有辅助、常用数据等。,专项核算系统,应收账龄管理、应付账龄管理、坏账准备计提、坏账处理、质保金折现等核算及制证,账龄核算,发票开具申请、销项发票管理、进项发票管理、增值税台账、纳税申报表、税负分析等。,税务管理,局内关联交易对账、跨局关联交易对账、对账结果查询等。,对账平台,人员档案、薪酬设置、考勤管理、工资表生成等核算及制证。,薪酬核算,资产新增、变更、处置、折旧、减值、更新改造、价值重估等核算及制证。,资产核算,业、财、资的联动,生产系统,网上报销,业务系统,账,表,共享中心,资金中心,中国银行,中国农业银行,中国工商银行,中国建设银行,银行,全面预算,决策支持,主数据管理,财政管控,全面风险,业财一体化,财资一体,银企直连,付,收,物资采购,业财一体,协同办公,资金系统主要功能,生产系统,网报系统,电商系统,OA系统,业务系统,账,表,共享中心,账户管理,结算管理,票据管理,现金管理,资金结算平台,中国银行,中国农业银行,中国工商银行,中国建设银行,国内银行,信贷管理,ERP接口,业务财务一体化,渣打银行,国外银行,银企直连接口,Swift接口,接口平台,对内付款,对外付款,付款查询,账户管理,支付接口,外汇管理,票据接口,人民银行,资金中心,余额信息,数据接口,增值税管理系统,通过数据资产规划,核算维度的数据规划,数据采集规划,数据载体,业务需要,数据的业务需求是最初始的需求,核算需要,业务驱动财务；财务核算需要的数据是对业务数据的补充,财务报表需要,财务核算的结果是账转表，财务报表需求是对核算需求的补充,管理报表需要,数据采集的最终目的是管理需求，管理报表需要的数据是最后的补充,财政局管理分析类应用建设现状基本分析,关注的内容,存在的问题,基本的现状,财政局数据仓库累积数据没有充分利用缺乏面向整个财政局的统一、完整的数据视图；缺乏支撑财政局日常业务运转的风险评估体系；缺乏财政局客户360度视图，客户行为分析和预测无法实现；缺乏面向金融业务运营管理的关键绩效指标体系；,财政局已建立面向整个财政业务的数据仓库，整合了前台业务运营数据和后台管理数据，建立了面向财政的管理分析应用；财政局已开展供应链金融、人人贷和保理等多种业务，积累了一定量的业务数据，同时业务人员也从客户管理、风险评级和经营规模预测等方面，提出了大量分析预测需求；,数据平台、数据应用、数据管控,基础数据平台和BI应用建设是未来一段时间的重点！,数据平台整体架构； 数据平台各层建设的标准； 较成熟的金融业数据模型； 数据质量治理； 元数据管理； 数据标准建设 数据整合； 数据应用建设； 数据平台的软硬环境,智慧财政大数据云平台建设目标,外部非结构化数据,统一制定目标和分析模型,自定义报表工具行列的简单定义方式,多种格式报表,财政决策层,财政职能管控层,各级业务操作层,关注财政主要经营指标,业务人员使用BI应用实现业务协作和创新,BI 分析工具,供应链金融系统,POP系统,其他业务系统,云数据推送平台已实现了主要财政及金融业务系统数据清洗、整合，为未来财政局数据平台提供了丰富的数据源。,通过数据平台和BI应用建设，财政局将搭建统一的大数据共享和分析平台，对各类业务进行前瞻性预测及分析，为财政各层次用户提供统一的决策分析支持，提升数据共享与流转能力,采购管理系统,查看职能部门的业务经营情况,智慧财政大数据云平台建设预期收益,2.加强业务协作,实现分散在供应链金融、人人贷、保理等各个业务系统中的数据在数据平台中的集中和整合，建立单一的产品、客户等数据的企业级视图，有效促进业务的集成和协作，并为企业级分析、交叉销售提供基础,3.促进业务创新,财政局业务人员可以基于明细、可信的数据，进行多维分析和数据挖掘，为金融业务创新（客户服务创新、产品创新等）创造了有利条件,4.提升建设效率,通过数据平台对数据进行集中，为管理分析、挖掘预测类等系统提供一致的数据基础，改变现有系统数据来源多、数据处理复杂的现状，实现应用系统建设模式的转变，提升相关IT系统的建设和运行效率,5.改善数据质量,从中长期看，数据仓库对财政局分散在各个业务系统中的数据整合、清洗，有助于企业整体数据质量的改善，提高的数据的实用性,通过数据平台实现数据集中，确保财政局各级部门均可在保证数据隐私和安全的前提下使用数据，充分发挥数据作为企业重要资产的业务价值,1.实现数据共享,目录,智慧财政大数据云平台综述,1,智慧财政大数据云平台总体架构,2,智慧财政大数据云平台演进路线,3,智慧财政大数据云平台一期实施重点,4,附录：数据质量管理平台,5,智慧财政大数据云平台总体架构,历史数据查询,数据交换平台,应用集市数据区,财政局财政,供应链金融,人人贷系统,基金系统,系统,企业内外部半结构化、非结构化数据,大数据交换组件,数据库数据交换组件,数据区数据交换组件,大数据区,沙盘演练数据区,实时数据区,客户主题,协议主题,产品主题,业务沙盘演练,数据增值产品,财政数据,供应链数据,增值产品数据区,主题数据区, ,用户访问层,客户汇总,账户汇总,机构汇总, ,社交媒体,移动互联,用户评价,访问日志,处理后大数据,待处理大数据,流程调度,监控告警,数据标准,数据质量,元数据,数据安全,流程调度平台,数据管控平台,流程调度层,实时数据查询,客户管理,财务管理,外部用户,贴源数据区,内部管理分析,内部用户,历史归档数据区,IT人员,风险管理,智慧财政大数据云平台总体架构数据产生层,内部业务系统产生的结构化数据财政局日常财政业务处理过程中产生的结构化数据，存储在关系型数据库中，如：供应商信息、采购信息、商品信息、销售流水财政局日常业务处理过程中产生的结构化数据，存储在关系型数据库中，如：客户信息、账户信息、金融产品信息、交易流水企业内部非结构化数据日常业务处理过程中产生的非结构化数据，存储形式多样，主要包括用户访问日志、用户投诉、用户点评企业外部数据企业外部数据以非结构化为主，主要包括国家政策法规、论坛等互联网信息、地理位置等移动信息、微博等社交媒体信息,源数据内容,在本次项目实施中将采用以增量为主、全量为辅结合的方式获取源数据财政局和财政局业务系统的数据增量数据识别、获取由云数据推送平台负责，云数据推送平台采用分析、对比源系统日志方式实现对于无法通过上述方式获取增量的源系统数据，则采用某一个时间范围内的全部数据作为增量初始数据加载均采用全量模式,源数据增量,智慧财政大数据云平台总体架构数据交换层,数据交换层设计目标,传输组件是根据数据源存储的不同分类而设计的，本质是通过分析数据存储结构和数据存储库的特点来针对性的设计工具，以追求卓越的性能,数据区数据交换组件,数据库数据交换组件,大数据交换组件,财政局系统,数据服务层,外部大数据,财政局系统,Hadoop元数据,云数据推送平台,数据平台导入临时区,数据平台导出临时区,NAS 存储,ETL程序区,智慧财政大数据云平台总体架构数据交换层NAS存储,Hadoop集群元数据区,数据平台ETL数据处理程序区,数据平台临时数据区,存储数据平台各个Hadoop集群的元数据信息，如：HDFS文件系统元数据,财政数据交换平台每日获取运输局推送平台提供的业务系统变化数据，暂存在NAS临时数据区金融数据平台加工计算结果返回给业务系统，暂存在NAS临时数据区,数据平台ETL加工处理程序（数据压缩、数据加载、各数据数据处理等）统一存储在NAS集群指定目录，各接口服务器通过文件系统Link建立映射,智慧财政大数据云平台总体架构数据交换层大数据交换组件,企业内部非结构化、半结构化数据，如：音频、视频、邮件、Office文档、抵押品扫描件等企业外部非结构化、半结构化数据，如：微博、贴吧、论坛、用户点击流、用户移动位置等,批量采集：大数据源以SFTP协议批量传输数据文件在线访问：开发Java或C应用，调用大据源API，或以网络平台爬虫方式抓取源系统非结构化、半结构化数据,组件以实时和批量两种模式实现下列功能：数据采集数据传输到数据交换平台（接口服务器）NAS指定目录存储数据到数据平台大数据区指定HDFS目录,定时抽取用户访问日志，加载到数据平台大数据区HDFS指定目录，MR程序加工处理开发网络爬虫程序，扫描用户微博，抓取用户微博内容，社交圈信息，存入大数据区,智慧财政大数据云平台总体架构数据交换层数据库数据交换组件,企业内部业务系统产生的结构化数据，包括两大来源：财政局财政业务数据，数据存储在Oracle、SQLServer、MySQL和MongoDB四类数据库财政局互联网金融业务数据，数据存储在MySQL数据库,Perl程序数据采集，调用Perl文件模块相关函数，轮询指定目录，获取数据文件数据核查，Perl执行文件级数据质量检查数据加载，调用Hive Load数据命令，加载到数据平台临时数据区的Hive Table,组件以实时和批量模式实现下列功能：数据采集，轮询NAS集群指定目录，获取数据文件（LZO压缩）数据核查，对数据文件进行质量校验数据加载，加载数据到临时数据区,云数据推送平台连接供应链金融系统数据库，分析供应链金融MySQL数据库日志，识别增量数据，存储到金融平台NAS存储的指定目录，金融平台加载数据文件到数据平台临时区Hive表,智慧财政大数据云平台总体架构数据交换层数据区数据交换组件,数据平台计算层各数据区贴源数据区主题数据区集市数据区沙盘数据区大数据区归档数据区,Sqoop实现集市数据区与数据平台其他Hadoop数据区的数据交换Hadoop 命令、Hive外部表、MR程序实现数据平台Hadoop数据区间的数据交换,组件以批量方式实现下列数据交换功能：贴源数据区和主题数据区到集市数据区大数据区到主题数据区和集市数据区主题数据区、贴源数据区、集市数据区到沙盘数据区各个数据区数据归档,数据集市的数据按照据生命周期规划，统一将过期数据归档到历史数据归档区,智慧财政大数据云平台总体架构流程调度层批量处理流程,批量数据处理由流程调度层部署的自定义开发WorkFlow组件调度运行整个流程主要完成如下工作：获取业务系统结构化数据，存入临时数据区获取企业内外部非结构化数据，并进行结构化处理，存入主题或集市数据区按照贴源数据模型整合数据（标准化、数据更新/追加）按照主题数据模型整合数据并生成汇总数据加工计算后，结果交付到数据集市，支持分析类应用,智慧财政大数据云平台总体架构流程调度层实时数据处理流程,实时数据处理强调的是实时或准实时获取并处理数据，通常采取消息队列等技术构建“数据流”整个处理流程由流程调度层部署的自定义开发WorkFlow组件调度运行整个流程主要完成如下工作：通过数据库数据交换组件获取增量数据，加载到实时数据区通过大数据交换组件获取非结构化数据，并利用Storm处理数据，加载到实时数据区针对实时数据区数据执行标准化处理和贴源整合,智慧财政大数据云平台总体架构流程调度层归档数据处理流程,数据归档的对象包括业务系统数据文件、贴源数据区数据、主题数据区数据、大数据区数据和集市数据区数据数据按照生命周期规划存储到归档区Hadoop集群，归档后原数据区删除此数据整个处理流程由流程调度层部署的自定义开发WorkFlow组件调度运行整个流程主要完成如下工作：数据文件通过HDFS命令行copyfromlocal进行归档贴源、主题和大数据区通过HDFS命令行distcp或自定义开发的MR程序执行归档集市数据区通过Sqoop或数据库提供的Hadoop集成技术（如：外部表）执行归档,智慧财政大数据云平台总体架构数据存储层,业务系统前日增量数据缓存数据，支持后续ELT数据处理,数据内容主要用途,数据模型保留周期,用户访问模式,工作负载,平台要求,贴源数据模型保存最近7天数据,贴源数据区和主题数据区批量作业访问无最终用户访问,I/O敏感，连续小批量的数据抽取和加载少量量数据使用Hive的Load命令，大量数据使用MR程序,与主题区/贴源区/集市区构成一个Hadoop集群（Hive）无单点故障，724小时+非工作日有限停机,主题数据区、集市数据区和沙盘演练数据区批量作业访问无最终用户访问,I/O敏感，日终批量ETL以ELT形式通过Hive SQL执行,与主题区/贴源区/集市区构成一个Hadoop集群（Hive）无单点故障，724小时+非工作日有限停机,贴源数据模型不保存历史,业务系统前日快照数据和一段时间的流水数据数据标准化，为后续主题模型、集市和沙盘演练提供数据,临时数据区,贴源数据区,智慧财政大数据云平台总体架构数据存储层（续）,企业内外部非结构化、半结构化数据采集并存储数据，进行结构化处理，最终得到结构化数据,数据内容主要用途,数据模型保留周期,用户访问模式,工作负载,平台要求,数据按照HDFS文件存储建议保留1年,集市区/沙盘区/增值产品区/主题区/归档区批量作业访问少量高级业务人员进行大数据分析,MapReduce 分布式计算，半/非结构化数据的结构化处理（包括文本检索、语义分词、图像识别、音频识别等）,与主题区/贴源区构成一个Hadoop集群（HDFS）无单点故障，724小时+非工作日有限停机,集市区/沙盘区/增值产品区/主题区/高时效区批量作业访问业务人员执行历史数据查询,MapReduce分布式计算，HDFS命令实现Hadoop集群内归档，Sqoop实现数据库归档，通过Hive提供历史查询,独立的Hadoop集群（HDFS+Hive）无单点故障，724小时+非工作日有限停机,数据按照HDFS文件存储数据文件按照数据区划分目录，建议保留7年,其他各数据区历史数据按数据生命周期规划归档平台过期数据，支撑历史数据查询,大数据区,历史归档数据区,智慧财政大数据云平台总体架构数据存储层（续）,业务系统历史明细数据打破业务条线整合数据,数据内容主要用途,数据模型保留周期,用户访问模式,工作负载,可用性要求,第三范式模型保留长期历史，需要根据主题细化,主题区/集市区/沙盘区/增值产品区/归档区批量作业访问少量高级业务人员进行灵活查询、挖掘预测,I/O敏感，日终批量ETL （合并、拉链、关联、汇总等等）以ELT形式通过Hive SQL执行，复杂处理使用MR定制UDF,与大数据区/贴源区构成一个Hadoop集群（Hive）无单点故障， 724小时+非工作日有限停机,集市区/沙盘区/增值产品区/归档区批量作业访问少量高级业务人员进行灵活查询、挖掘预测,I/O敏感，日终批量ETL （连接、聚合、汇总等等）以ELT形式通过Hive SQL执行，复杂处理使用MR定制UDF,与大数据区/贴源区构成一个Hadoop集群（Hive）无单点故障，724小时+非工作日有限停机,逆范式宽表依赖于集市数据需求,对主题数据预加工后的结果数据针对应用需求进行数据预连接、预汇总，为集市提供数据,主题数据区明细,主题数据区汇总,智慧财政大数据云平台总体架构数据存储层（续）,按沙盘演练需求，准备的明细或汇总业务数据为数据科学家的挖掘预测操作提供数据服务,数据内容主要用途,数据模型保留周期,用户访问模式,工作负载,可用性要求,模型依赖于沙盘演练需求在整个沙盘演练周期内保留,集市区/沙盘区/归档区批量作业访问少量高级业务人员进行灵活查询、挖掘预测,I/O敏感，终批量ETL （合并、拉链、关联、汇总等等）以ELT形式通过Hive SQL执行，复杂处理使用MR定制UDF,独立的Hadoop集群（HDFS）无单点故障，724小时+非工作日有限停机,沙盘区/归档区批量作业访问决策人员、管理人员、业务人员访问,I/O敏感型，BI工具提交的报表、查询、分析SQL命令和日终批量ETL（汇总、聚集等操作，以ELT形式通过SQL执行）,基于开放平台的完全无共享 MPP 数据库集群+内存数据库无单点故障，724小时+非工作日有限停机,维度数据模型依赖业务需求,面向企业内部管理分析类应用需求的汇总数据为客户、运营等管理分析主题和数据增值产品提供数据服务,沙盘演练数据区,应用集市数据区,智慧财政大数据云平台总体架构数据存储层（续）,根据外部用户的数据使用需求数据平台加工计算的结果数据为部署在数据平台上的企业内外部增值产品提供数据支持,数据内容主要用途,数据模型保留周期,用户访问模式,工作负载,可用性要求,应用模型，依赖于用户业务需求依赖于用户业务需求,企业外部人员，如：客户通过自己部署在Paas平台上的应用访问,I/O敏感型，BI工具提交的报表、查询、分析SQL命令和日终批量ETL（汇总、聚集等操作，以ELT形式通过SQL执行）,独立的Paas平台，部署Hadoop集群无单点故障，724小时+非工作日有限停机,企业业务人员高时效、高并发、高可靠性的联机交易类查询,CPU敏感，BI工具或业务系统高并发、高时效查询，以及准实时连续ETL处理+SQL批量处理,独立的内存数据库集群无单点故障，36524小时不停机,贴源数据模型依赖用户业务需求,面向应用的业务系统快照数据和一段时间的交易流水为实时获准实时分析应用提供数据服务,增值产品数据区,实时数据区,智慧财政大数据云平台总体架构数据存储层数据流,数据集成层,操作型聚合数据,临时数据区,实时数据区,公共汇总数据,主题明细数据,结构化数据,非结构化&半结构化数据,沙盘演练数据区,实验室数据,集市数据区,POP自营数据,贴源数据区,金融业务数据,主题数据区,客户管理集市,财务管理集市,运营管理集市,风险管理集市,集市,大物流系统数据,供应链系统数据,财务审计数据,财务研发数据,操作型明细据,归档数据区,大数据区,源系统数据文件,贴源数据,主题数据,集市数据,高时效数据,大数据,增值产品数据区,智慧财政大数据云平台总体架构数据应用层,大数据平台应用,针对公检法查询需求、内外部审计需求和最终用户的历史交易查询需求，以贴源存储的归档数据为基础，实现的查询类应用历史查询类应用通常使用BI 工具或自主开发实现,客户经理等最终业务人员针对当前业务的发生（如：用户交易、用户访问日志），进行实时查询、分析的应用,管理分析类应用主要实现了财政客户管理、运营管理、财务管理、风险管理、监管信息披露五大分析体系功能管理分析类应用通常采用套装软件和BI工具（MicroStrategy等）实现,业务人员根据业务需求或自己对业务的理解，设计计算模型，准备各类明细或汇总数据，导入模型运算，验证业务结果沙盘演练类应用通常使用R语言在Hadoop分布式体系下实现,财政局数据科学家根据自己对业务需求的理解或者对市场的判断，设计并运行模型，发掘数据价值，并封装成商业产品数据增值产品通常采用R语言和BI工具实现，面向企业内外部用户,管理分析类应用,1,沙盘演练类应用,3,历史查询类应用,4,高时效类分析应用,5,数据增值类产品,2,实时分析类应用通常使用CEP、ESB等技术实现,智慧财政大数据云平台总体架构平台发展不同阶段对应应用,工作负载复杂度,大数据平台发展阶段划分,操作为主阶段什么正在发生？,动态数据仓库阶段 让正确的事情发生！,分析为主阶段为什么会发生,报表为主阶段发生了什么,预测为主阶段将会发生什么？,批量随机查询数据分析持续更新加载/短查询基于事件的动态触发,数据量增长用户数增长查询复杂度增长ETL处理复杂度增长,管理分析类应用历史查询类应用,实时分析类应用,智慧财政大数据云平台总体架构管理分析类应用,总账分析资产负债表分析损益表分析现金流量表分析财务指标分析盈利分析机构贡献度产品贡献度客户细分贡献度渠道绩效资产负债分析主要指标报告，如：净利息收入、净收入、净现值、市场价值等头寸报告现金流报告风险价值（VaR）计算财务预算与计划财务预算财务计划执行监控执行过程分析年末财务计划执行分析预测与场景分析业务规模预测收益预测,领导管理驾驶舱机构绩效考核客户经理考核客户经理工作量评估客户经理服务客户收益评估产品绩效考核业务量考核供应链金融业务人人贷业务保理业务基金业务其它中间业务渠道成本与收益,风险监控报表/信息披露流动性报表利率敏感性报表资本充足率报表市场风险市场风险暴露值流动性管理、利率管理信用风险信用风险暴露值计算信用风险控制 （贷前控制、贷中监控、贷后分析）操作风险异常交易预警后督差错检查防欺诈/反洗钱定义欺诈交易模型可能性欺诈交易预警欺诈交易分布分析全面风险管理,目前监管机构没有明确要求,客户单一视图部门客户信息管理个人客户信息管理同业客户信息管理目标客户搜索重点客户关怀客户风险客户异动客户客户细分个人客户细分部门客户细分客户行为分析客户轮廓分析产品交叉销售分析百分比分析渠道偏好分析营销活动管理营销活动规划营销活动定义营销活动执行营销活动苹果营销活动自动化渠道接口与集成流程自动化,客户管理,运营管理,财务管理,风险管理,监管披露,示例,智慧财政大数据云平台总体架构数据访问层,即席查询：通过即席查询工具或手工书写SQL语句，完成业务信息的即席查看多维分析：从多个维度灵活组合对目标值进行分析，常见功能包括上下钻取、透明钻取、旋转、分页、层钻、跨维钻取等主动问题发现：通过事件触发、规则匹配等方式发现企业运营中的问题，通过手机、邮件等方式报警,决策层,管理层,业务人员,即席查询,静态报表,多维分析,仪表盘,挖掘预测,仪表盘：通过仪表盘及其它展现方式对企业关键绩效指标进行展示，为领导层决策提供直观的数据支持静态报表：按照预先定义格式，批处理报表，在线查询报表等 Office集成：将分析应用嵌入到Office界面中，利用Office的方便、易用特性，降低用户使用难度,问题发现,Office 集成,Web服务,挖掘预测：使用专业的软件工具，通过数理统计等高级统计分析算法，分析结构化、非结构化数据，通过数据模型去挖掘隐藏在数据中的价值,数据科学家,业务系统,Web 服务：将分析应用的功能发布为Web服务，注册在企业服务总线上，供其它业务系统或分析应用调用，获取分析结果,多种展现形式满足各层级用户及应用系统使用需求,智慧财政大数据云平台总体架构数据管控层,金融数据管控体系涵盖组织架构、评价与考核、管控流程、管控平台四个域。,数据标准管理,数据质量管理,元数据管理,工作流管理,组织,数据与信息标准化委员会,数据管理人,数据所有人,数据生产人,数据使用人,IT 支持团队,考核指标,责任评价,标准执行评价,政策执行评价,评价标准,数据类型,数据格式,业务分类,真实性定义,及时性定义,完整性定义,技术元数据,流程,评价与考核流程,考核指标建立/维护流程,标准建立/维护流程,组织建立/维护流程,评价与考核,业务含义,一致性定义,数据认责,平台,安全等级,权限定义,业务元数据,管理元数据,数据全生命周期,数据安全管理,数据标准,数据质量,元数据,数据安全,审计定义,保留策略,智慧财政大数据云平台总体架构数据管控体系内部运转机制,管控组织数据管控委员会数据所有人数据认责人IT支持,管控流程数据接入流程数据变更流程数据授权流程数据退役流程标准/政策制定流程评价考核流程,评价与考核标准（数据标准、质量要求、安全要求）遵守标准所需要的政策政策与标准遵从考评定义,数据产生者数据使用者,流程支撑,流程支撑,制定,管控平台,工具支撑,明确了数据管控过程中的组织结构、角色、职责等。管控组织除了要负责制定数据标准、质量、安全等要求外，还需要负责制定管控的相关流程和评价考核指标等内容。,考评,制定,通过建立一些定性或定量的数据管控评价考核指标，去评估及考核数据相关责任人职责履行情况、数据管控标准及数据政策的执行情况等。,规范了数据管控过程中，各个环节日常任务处理的运作模式，例如数据定义如何变更、数据冲突如何协调等。,采用专门的技术平台支撑管控流程的自动化，发布管控组织制定的一些相关标准和规范，及时反映管控过程中存在的一些问题等。,管控综合管理标准/规范管理流程管理考核仪表盘,元数据管理业务元数据管理技术元数据管理管理元数据分析,数据质量管理稽核规则管理数据稽核质量报告,工具支撑,组织架构、评价与考核、管控流程、管控工具这四个域相互作用、相互支撑，提供对各信息系统数据的管控。,智慧财政大数据云平台总体架构数据管控组织,数据管控组织是数据管控体系中最重要的因素，它负责定义和管理业务数据相关标准，制定遵寻标准所必须的政策，监测正在进行的数据管控行动。数据管控组织是否有完整与合理的角色定义、是否有高层领导的参与，是整个数据管控的成败的关键。典型的数据管控组织如下所示：,数据管控负责部门,岗位,角色,数据管控主导方,信息管理委员会,数据标准管理员,数据质量管理员,数据产生部门,数据管控参与方,业务协调人,数据分析员,数据主管,数据使用部门,业务协调人,数据分析员,数据主管,数据拥有部门,业务协调人,数据分析员,数据主管,数据管理部门,运维组织,实施项目组,数据安全管理员,数据管控经理,元数据管理员,智慧财政大数据云平台总体架构数据标准管理,消除一数多义，提升数据的唯一性、一致性，将逐步形成的数据标准纳入一个规范的管理流程中，进行数据标准的更新、发布、使用监督等工作。数据标准管理工作可以分为以下几个部分：数据标准建立和维护、数据标准执行、数据标准管理的考评。,数据标准建立和维护,数据分类,数据结构,关键业务对象,关键代码,数据维度,代码映射,客户类数据标准,产品类数据标准,。类数据标准,数据标准执行,数据标准管理的考评,定性考评,定量考评,数据标准分析报告,数据标准理念推广,归档系统,ODS,智慧财政大数据云平台总体架构数据质量管理,数据质量管理框架蓝图如下，其中数据质量提升是改进数据质量的手段和质量考评的目的：数据质量要求确认，根据业务要求制定和明确数据质量要求，同时也需要符合数据标准的要求；数据质量考评，对数据质量的量化评价制定数据质量问题解决方案，根据数据质量考评和日常工作中发现的数据质量问题，实施相应的措施，提升数据质量,智慧财政大数据云平台总体架构元数据管理,业务元数据：面向业务人员，从业务术语、业务描述、业务指标和业务规则等几个方面对数据进行描述管理元数据：面向数据管理人员，从运维管理的角度描述数据处理、数据质量和数据安全的状态信息技术元数据：面向技术人员，从数据结构和数据处理细节方面对数据进行技术化描述,智慧财政大数据云平台总体架构数据安全管理,数据安全管理可分为数据安全分级管理和数据访问授权管理两个部分：数据安全分级：根据业务要求，制定一系列的数据安全分级标准和政策，为数据应用以及数据管理中实施数据安全保护和访问提供数据安全控制的基础。数据访问授权：数据访问授权的主要工作是根据数据安全分级标准，定义数据访问的授权方法及流程，建立基于数据安全分级的数据使用授权机制，实现数据访问和信息披露的安全。,数据安全分级,数据敏感度,数据安全等级定义,数据访问授权,数据重要性,数据使用需求,数据使用者权责,数据访问授权规则,安全技术,智慧财政大数据云平台总体架构高阶工作流程,业务数据规划管理高阶流程 数据认责流程数据治理考核体系数据治理考核流程数据治理考核指标体系数据标准管理管理高阶流程 数据标准建立流程数据标准维护流程数据质量管理管理高阶流程数据质量要求确定流程元数据管理高阶流程元数据变更流程数据安全管理管理高阶流程数据安全审批流程,数据认责流程,数据标准、质量、元数据、安全管理流程,协调会议,考核流程,智慧财政大数据云平台总体架构数据管控平台,数据管控平台从总体上来说分为数据层、应用层、展现层三个主要层面，以数据层的数据库及相关基础系统为主要信息来源，通过应用层的运算处理，以不同的形式，不同的功能在展现层提供用户接口,智慧财政大数据云平台总体产品框架,非结构化/半结构化数据,管理分析平台（X86 MPP 集群）,业务系统结构化数据,基础计算平台（贴源数据区+主题数据区+大数据区）（Hadoop集群+Hive）,数据交换平台（自主开发交换组件+NAS存储）,实时分析平台（内存数据库）,沙盘演练平台（Hadoop集群）,数据管控平台,FTP,SFTP/HTTP/API,Copyfromloal,Queue,云数据推送平台,增值产品平台（ Hadoop集群）,历史归档查询平台（Hadoop集群+Hive）,Load（Hive）,DistcpHQL+Load,Distcp,DistcpHQL+Load,DistcpHQL+Load,Sqoop,Sqoop,Sqoop,MR,流程调度平台,目录,智慧财政大数据云平台综述,1,智慧财政大数据云平台总体架构,2,智慧财政大数据云平台演进路线,3,智慧财政大数据云平台一期实施重点,4,附录：数据质量管理平台,5,智慧财政大数据云平台演进路线,以基础平台搭建为主，配合财政局初期业务开展，应用建设从客户信息管理、风险管理和运营管理三方面开展,搭建大数据处理平台和实时分析平台，应用方面开展实时分析和数据产品封装,开展客户信息管理、信用风险评级和业务统计分析三类应用建设开展贴源数据整合，初步建立企业级数据视图，实现对管理分析类应用和实时分析类应用的支撑规划数据管控蓝图，初步实施数据质量和技术元数据管理,2013年,2014年2015年,2015年以后,对企业价值的创造,应,技,管,全面开展内部管理分析、实时分析和沙盘演练应用建设，初步展开增值数据产品开发工作全面开展智慧财政大数据云平台建设，引入更多数据源，丰富并完善平台数据区建设随着应用体系的搭建，完善数据质量和元数据建设，开展数据标准化工作,应,技,管,深化分析体系，形成深度智能化业务分析性能持续优化、数据平台持续完善、持续深化数据管控体系，形成财政局企业级的数据管控体系,应,技,管,一期,2013.10,当前位置,未来持续优化提升阶段,第一阶段,第二阶段,第三阶段,智慧财政大数据云平台演进说明基础数据平台,智慧财政大数据云平台演进说明数据管控,智慧财政大数据云平台演进说明应用体系,目录,智慧财政大数据云平台综述,1,智慧财政大数据云平台总体架构,2,智慧财政大数据云平台演进路线,3,智慧财政大数据云平台一期实施重点,4,附录：数据质量管理平台,5,金融智慧财政大数据云平台一期架构,基础计算平台：基于Hadoop集群构建，按照业务条线、以贴源数据模型存储了业务系统明细数据数据交换平台：NAS集群实现了进出数据平台数据的暂存，业务数据交换组件实现了业务系统每日增量数据加载，数据区数据交换组件实现了基础计算平台与管理分析平台间的数据交换流程调度平台：自主开发的流程调度引擎实现整个数据平台的数据处理任务调度和运行管理分析平台：由X86 分析型数据库集群、BI软件1J2EE应用构成，实现了面向应用的数据加工、管理、分析服务实时分析平台：由高档X86服务器组成的集群，实现高时效、高并发的实时、准实时类管理分析需求,数据交换平台 平台逻辑架构,云数据推送平台实现源系统数据一次获取获、按需分发。平台采用GoldenGate、JBUS、Flume等技术获取增量数据，存储在MySQL集群平台按照接口规范生成文件，LZO压缩后，通过FTP传输到NAS指定目录,POP,金融智慧财政大数据云平台,NAS 集群,物流,财务,供应链,人人贷,云数据推送平台,数据交换平台由FTP服务器、加载服务器和NAS存储组成，完成业务系统数据的获取、加载和归档FTP服务器：利用LVS构成的FTP集群，接收云数据推送平台处理后的数据，存储在NAS集群的指定目录加载服务器：部署ETL任务，实现指定目录的文件到达监控、文件级检核、数据加载（Hive Load）到临时数据区，同时归档（copyfromlocal）历史数据区NAS集群：按照日期和源系统划分目录，缓存数据，支持日常数据交换和ETL,LVS 集群： FTP 服务器#3,加载服务器 #1,加载服务器 #4,LVS 集群： FTP 服务器#1,LV