数据治理平台统简介课件.ppt

,国家开发银行,数据治理平台系统简介,2008,年,11,月,数据治理项目组,议题,1.,系统目标与定位,2.,技术实现架构,3.,数据标准管理子系统,4.,元数据管理子系统,5.,数据质量管理子系统,6.,数据服务子系统,7.,统一认证与用户管理模块,2,数据治理平台项目组,建设背景,?,数据平台一期已构建完成并投入使用，所面临的问题：,?,?,?,?,?,数据标准缺乏结构化管理,源数据变化造成数据平台数据混乱,对数据平台数据问题如何快速定位原因？,如何有效监控和改善数据平台数据质量？,。,?,建设一个完整的数据治理平台，作为数据平台的管控系统，从制度、标准、监,控、流程几个方面提升开行的数据信息管理能力，解决目前所面临的数据标准,问题、数据质量问题、元数据管理问题和数据服务问题。,3,数据治理平台项目组,项目目标,围绕国开行数据平台建设，提供针对数据生命周期的管控机制，体现为以下几个,出发点：,?,数据标准规范化,-,规范化管理构成数据平台的业务和技术基础设施，包括数据管,控制度与流程规范文档、信息项定义等。,?,数据关系脉络化,-,实现对数据间流转、依赖关系的影响和血缘分析。,?,数据质量度量化,全方位管理数据平台的数据质量，实现可定义的数据质量检核,和维度分析，以及问题跟踪。,?,数据服务电子化,-,为数据平台提供面向业务用户的服务沟通渠道。,4,数据治理平台项目组,数据治理平台构成与定位,数据服务,分析类应,用系统,提供平台,沟通渠道,数据提供,数据平台,数据集市,管理会计,核心业务,系统,信贷业务,系统,信用风险管,理系统,风险,数据流,管理平台,数据质量,数据质量,管理,数据抽取,Schemas,ODS,管理行内,数据标准,系统,管理平台元数据，,进行数据影响、,血缘分析,5,数据标准,元数据管理,数据治理平台项目组,对数据平台业务的支持,数据标准,?,查询数据标准，以开发符合数据标,准的应用,?,提交标准代码比对文档,应用开发者,?,维护数据标准,?,制订、发布标准,?,应用系统代码标准比对,?,查询数据标准规范，,反馈建议,数据标准子系,统,数据标准管,理员,?,提出数据标准需求,申请,业务部门,6,数据服务,数据治理平台项目组,对数据平台业务的支持,元数据,数据平台,数据源系统,数据抽取,?,查询数据平台相关元数,应用开发者,据，为开发应用提供参考,元数据管,理员,元数据子系统,?,数据变更影响分析,?,数据问题血缘分析,?,数据变更影响评估申请,数据服务,7,数据治理平台项目组,对数据平台业务的支持,数据质量,?,针对数据质量问题,提出完善建议,应用开发者,?,定义检核需求与规则,?,分析数据平台数据质量,?,发现、发布数据检核问题,业务部门,?,了解本机构特定系,统数据质量,?,提出业务数据质量,检核需求,数据质量,检核,数据质量管,理员,8,数据治理平台项目组,对数据平台业务的支持,-,数据服务,?,数据平台服务申请,应用开发者,?,提供数据平台服务,?,数据平台服务申请,?,与数据平台有效沟通,业务部门,数据服务,数据服务单管,理员,9,数据治理平台项目组,数据治理相关系统关系,数据治理平台,登录认证,AD(,目录,),系统,单点登录与,角色管理,统一认证,与用户管,理模块,执行检核,数据服务子,系统,数据质量管理,子系统,提供检核系,统元数据,提供库表结,构元数据,数据平台,用户与机构,信息同步,统一用户,管理系统,元数据子,系统,数据标准,子系统,提供标准相,关元数据,10,数据治理平台项目组,议题,1.,系统目标与定位,2.,技术实现架构,3.,数据标准管理子系统,4.,元数据管理子系统,5.,数据质量管理子系统,6.,数据服务子系统,7.,统一认证与用户管理模块,11,数据治理平台项目组,客户层,表现层,业务层,Import,Export,集成层,资源层,Database,Operation,Engine,Objects,Relation,Analysis,Engine,ORM,Hibernate,外部数据,XML,文本,EXCEL,应用系统,Management&Control,Security,Task/Trans,Log,Driver,&,Adapter,Web,Browser,HTM,L/A,JAX,/HT,TP,ExtJS,I,n,t,e,r,f,a,c,e,Lists,Serialize,JDBC,ODS,DataMart,UA,12,数据治理平台项目组,议题,1.,系统目标与定位,2.,技术实现架构,3.,数据标准管理子系统,4.,元数据管理子系统,5.,数据质量管理子系统,6.,数据服务子系统,7.,统一认证与用户管理模块,13,数据治理平台项目组,功能需求,?,管理全行数据相关的标准和规范，提供数据标准的查询与反馈等功能。,功能定义,数据标准文档管理,数据标准文档制订,数据标准文档发布,数据标准文档版本管理,数据标准信息项管理,标准代码定义,主数据定义,数据标准查询与反馈,数据标准文档查询与反馈,数据标准信息项查询,应用代码标准符合性检查,新应用开发者将本应用代码与标准代码进行匹配，提交,系统检查,维护数据标准公共代码。,维护主数据标准,维护数据标准相关文档类信息,对数据标准相关文档进行发布管理,对数据标准相关文档的历史版本信息提供查看功能。,14,数据治理平台项目组,应用界面,15,数据治理平台项目组,应用界面,?,数据标准文档管理,?,数据标准制订,?,数据标准导入,?,数据标准文档,版本管理,16,数据治理平台项目组,应用界面,?,数据标准信息项管理,?,公共代码管理,?,数据标准管理,17,数据治理平台项目组,应用界面,?,数据标准反馈意见,?,查看反馈意见,?,反馈意见,18,数据治理平台项目组,逻辑架构,19,数据治理平台项目组,议题,1.,系统目标与定位,2.,技术实现架构,3.,数据标准管理子系统,4.,元数据管理子系统,5.,数据质量管理子系统,6.,数据服务子系统,7.,统一认证与用户管理模块,20,数据治理平台项目组,功能需求,?,对源系统、数据平台以及数据治理项目中的相关的技术、业务元数据进行统一,的归集管理，实现数据间的血缘分析和影响分析。,功能定义,完成情况,技术元数据,源系统数据结构定义,主数据,ER,模型,数据与映射关系定义,数据影响与血缘分析,数据变化对比分析,业务元数据,代码定义,报表表头定义,报表指标定义,报表指标勾稽关系分析,定义数据平台公共代码及其与源系统代码的关系。,定义数据平台业务报表的构成元素与结构。,定义数据平台业务报表中指标的计算规则。,已完成,已完成,已完成,导入源系统数据字典，并以系统,-,表,-,字段的层级关系展现,已完成,各级数据关系。,导入主数据,ERwin,模型，解析生成模型各层级关系。,已完成,定义数据平台各部分，以及源系统间的数据关联映射关系。,已完成,依赖所定义的数据平台各部分，以及源系统间的数据映射,已完成,关系，图形化展现数据变化影响和数据问题溯源。,针对元数据不同版本进行差异部分识别与比较。,已完成,定义数据平台业务报表中指标间的依赖关系，并进行影响,已完成,与血缘分析。,21,数据治理平台项目组,功能需求,功能定义,系统管理,完成情况,元数据手动采集,手工上传元数据定义文件,已完成,提供针对不同目标应用的适配器，实现定时的自,已完成，但需数据平,元数据自动采集,动采集,台提供采集支持，接,口方式尚需确定。,版本管理,提供元数据定版、批量定版、版本回溯的功能,已完成,访问控制管理,提供针对元数据细节操作的访问控制,已完成,22,数据治理平台项目组,应用界面,23,数据治理平台项目组,应用界面,?,业务元数据,报表清单,?,报表表头,报表表样导出,报表表头定义,24,数据治理平台项目组,应用界面,?,业务元数据,?,报表指标,查看指标相关,ER,图,25,数据治理平台项目组,应用界面,?,技术元数据,?,影响分析,26,数据治理平台项目组,逻辑结构,27,数据治理平台项目组,采集适配器,?,?,元数据采集适配器是一种驱动和解析器，用来接收、解析各种不用类型数据源的数据，,将有效的元数据存入模型，并建立关系。,在本期项目中，元数据管理系统的接口提供以下几种适配器：库表结构适配器、,PowerCenter,适配器、,E/R Win,适配器、数据平台血脉分析适配器、指标适配器、代码适,配器、表头适配器等。,数据平台,数据模型,数据集市,存储,过程,存储过程,数据模型,应用,表头,指标,代码,E/R Win,模型,元,数,据,ETL,PowerCenter,Mapping,文件,接,口,区,文本文件,XML,文件,EXCEL,文件,元,数,据,管,理,平,台,图例：,采集流,适配器,数据库,解析流,数据流,28,数据治理平台项目组,元数据存储结构,?,元数据存储模型层包括两部分内容：,?,元模型定义，即通过,XML,实现对象、对象关系及对象行为等的定义。,?,元数据实例存储，元数据实例存储到关系数据库中。,XML,定义模型,对象属性,对象行为,对象定义,对象关系,实例关系,实例,属性值,所属对象,编号,实例编号,所属实例,对象,对象,关系,顺序,超过的属性,目标对象,属性,1,打散,/,纵向,存储,属性,值,目标实例,属性,2,属性,3,属性,4,属性,5,属性,6,29,数据治理平台项目组,议题,1.,系统目标与定位,2.,技术实现架构,3.,数据标准管理子系统,4.,元数据管理子系统,5.,数据质量管理子系统,6.,数据服务子系统,7.,统一认证与用户管理模块,30,数据治理平台项目组,系统目标,?,根据“数据质量检核管理办法”中,PDCA,方法论，基于现有数据平台，对其上数,据进行全质量生命周期的管理，包括质量问题的定义、检核监控、发现分析、,跟踪反馈。,?,检核需求,?,检核指标,检核对象,检核调度,收集需求,分析规则,规则库,?,修正,数据质量,知识库,?,检核调度,管理,问题数据,执行,数据质量,问题管理,数据质量,检核分析,数据质量,趋势分析,31,?,数据治理平台项目组,数据质量度量分类,大类,细类,正确性,唯一性检查,非空检查,类型检查,格式检查,值域检查,代码检查,指标标准偏差检查,数据集市指标准确性检查,完整性,外键约束检查,一致性,业务规则检查,及时性,数据平台数据生成及时性检查,32,数据治理平台项目组,功能需求,功能定义,数据质量检核定义,完成情况,对纳入数据质量管理需求的系统、数据表纳入检,已完成,核范围，并定义相关信息,按数据质量度量标准，为各类检核指标定义相关,检核指标与规则定义,已完成,属性和数据检查规则。,为数据质量检核指标类和业务方案定义灵活的检,检核调度策略定义,已完成,核策略,检核系统定义,数据质量检核执行,检核控制引擎,检核执行处理器,调度符合执行策略数据质量检核指标，并分派给,已完成,对应的处理器,对数据质量检核指标执行特定于其指标类的检查,已完成,程序,33,数据治理平台项目组,功能需求,功能定义,数据质量检核分析,对数据质量检核的结果按机构、系统、数据质,量问题三个维度进行分布分析,对数据质量检核的结果按时间维度分析，判断,问题趋势分析,质量改善情况,对同一检核指标的不同批次进行对比，分析质,检核指标批次对比,量改善情况,检核执行报告,对特定日期的检核结果，形成统计报表,问题分布分析,数据质量问题管理,问题发现,问题发布,问题处理,问题归档,数据质量知识管理,知识库维护,知识库查询,归集数据质量的特定问题，以及特定的解决方,案，形成知识信息,查询数据质量知识信息,查询符合特定条件的数据质量检核问题,将需处理的数据质量检核问题归集到一个问题,单，并发布给特定的机构,跟踪问题单的处理情况,对处理完结的问题单进行归档处理,完成情况,已完成,已完成,已完成,已完成,已完成,已完成,已完成,已完成,已完成,已完成,34,数据治理平台项目组,应用界面,?,检核系统管理,35,数据治理平台项目组,应用界面,?,检核指标管理,?,主键唯一,36,数据治理平台项目组,应用界面,?,检核调度策略管理,?,业务解决方案,37,数据治理平台项目组,应用界面,?,数据质量检核分析,?,批次对比分析,?,问题分布分析,38,数据治理平台项目组,应用界面,?,数据质量问题管理,?,问题发现,39,数据治理平台项目组,逻辑结构,?,三个层面：,?,定义层：定义作为系统功能,的核心,-,数据质量检核，所,需使用对象、指标、调度策,略等配置信息；,?,执行层：使用已定义的检核,配置信息，对数据平台数据,进行检核；,?,分析层：对检核执行结果进,行定量、定性的分析与处理。,?,前后端：,?,前端：用户使用基于操作界,面的应用程序进行交互式的,检核信息定义、检核结果分,析等功能；,?,后端：系统根据检核策略在,后台自动执行，无需与用户,交互。,40,数据治理平台项目组,检核调度与分派,41,数据治理平台项目组,检核规则处理器类别,固定,存储过程：固定,SQL,简单,固定,Java,程序,复杂,存储过程：自定义,SQL,自定义,Groovy,规则脚本,自定义,42,数据治理平台项目组,Groovy,脚本示例,package groovy,import java.sql.Connection,import java.sql.ResultSet,import groovy.sql.Sql,import cn.cdb.backend.RuleHandler,/*,*author,马春宇,2008-11-11,*/,public class exampleGroovyRuleHandler extends RuleHandler,/groovy,数据库执行句柄,def sql_DQDB,sql_DPDB,void init(long KPP_BH,Connection CONNS),super.init(KPP_BH,CONNS),sql_DQDB=new Sql(conns0),sql_DPDB=new Sql(conns1),/,该方法目标：定义扫描检核目标表的,SQL,语句。,/sqlHead=select t0.rowid as DQMS_rowid,t0.ContNo as DQMS_logicalPK,t0.*from ODS_EFF.CDBCT_CONT_INFO t0;,private String getSqlScanTarTable(String sqlHead),String sqlScanTarTable;,String cusClause;,/-,自定义部分,-,开始,cusClause=where(t0.TranSourCoun is null or trim(t0.TranSourCoun)=)and t0.data_end_date=99999999;,/-,自定义部分,-,结束,sqlScanTarTable=sqlHead+cusClause;,return sqlScanTarTable;,/,该方法目标：描述对单记录的检核规则,如是问题记录则返回,false,，否则返回,true,private boolean exeSingleRecCheck(ResultSet rs),boolean succFlag=false;,/-,自定义部分,-,开始,String CredStatNo;,CredStatNo=rs.getString(CredStatNo);,def it=sql_DPDB.firstRow(select LoanType from ODS_EFF.CDBPJ_STAT_INFO where CredStatNo=?,CredStatNo),if(it.LoanType in 51,52,53,54)succFlag=true;,/-,自定义部分,-,结束,return succFlag;,43,数据治理平台项目组,采用技术,?,前端,?,基于,Ext Ajax,、,Spring,、,hibernate,技术实现：,检核配置定义,数据质量问题管理,知识库管理,数据质量对比分析、检核报告,系统管理,?,基于,Cognos,报表系统实现数据质量分布与趋势分析,?,后端,?,基于,Java,、多线程技术实现检核调度与分派,?,基于数据库,Job Schedule,、存储过程实现存储过程检核策略,?,基于,Groovy,脚本技术实现复杂自定义检核规则的执行,44,数据治理平台项目组,议题,1.,系统目标与定位,2.,技术实现架构,3.,数据标准管理子系统,4.,元数据管理子系统,5.,数据质量管理子系统,6.,数据服务子系统,7.,统一认证与用户管理模块,45,数据治理平台项目组,数据平台服务单流程,流程定义,数据服务申请,新建申请,提交申请,申请方（包括业务部门或,外包公司）,?,?,数据标准处,服务提供方（数据处或平台,实施商）,数据服务审核,审核申请,服务创建与分配,数据服务实施,任务创建,任务执行,任务签收,服务验收,服务归档,周期性服务,新建服务实例,?,?,?,?,?,?,?,?,?,?,46,数据治理平台项目组,功能需求,功能定义,完成情况,数据服务申请,维护申请,提交申请,数据服务审核,审核申请,服务创建与分配,数据服务实施,任务创建,任务执行,任务签收,服务验收,服务归档,事件管理,周期性服务,新建服务实例,服务提供者为服务分解任务,已完成,服务提供者填写任务执行情况,已完成,服务申请者对单个任务，选择签收或拒绝,已完成,服务申请者、数据服务管理员验收服务,已完成,已验收的服务归档,已完成,对服务处理过程中的事件进行管理,已完成,对周期性服务，提供特定的处理,提供通用论坛功能,已完成,已完成,数据服务管理员审核服务申请,已完成,数据服务管理员创建服务实例，并分配给,已完成,指定的服务提供者,服务申请者新增、维护服务申请,服务申请者提交服务申请,已完成,已完成,数据平台论坛,47,数据治理平台项目组,功能界面,?,数据服务审核,?,审核申请,?,服务分配,48,数据治理平台项目组,功能界面,?,数据服务实施,?,任务创建,?,任务签收,?,服务验收,49,数据治理平台项目组,逻辑结构,控制层逻辑,数据访问,:,服务数据访问,+,取得需要当天创建的服务列表,(),+,保存服务,(),控制,:,数据处,+,获取服务对象,(),+,归档服务,(),+,取得申请,(),+,保存申请,(),业务,+,保存任务实例,(),+,取得任务实例,(),+,取得周期服务列表,(),+,取得活跃服务列表,(),控制,:,数据申请人,+,查询历史服务,(),+,获取附件,(),控制,:,控制器,控制,:,服务管理,+,删除附件,(),+,创建周期服务实例,(),+,获取附件列表,(),+,创建单次服务,():,单次服务,+,创建周期服务,():,周期服务,+,取得需周期服务列表,(),+,数据处验收,(),控制,:,实施方,+,主申请审批通过,(),+,拒绝主申请,(),+,通过增补申请,(),+,中止服务,(),+,通过签收,(),+,拒绝签收,(),+,增补申请,(),控制,:,时间任务,+,记录进度,(),+,数据申请人验收,(),+,新建任务,(),+,取得催办列表,(),控制,:,文件控制,+,取得事件列表,(),+,取得周期服务列表,(),+,保存文件,(),+,取得活跃服务列表,(),+,获取文件,(),+,查询历史服务,(),+,删除文件,(),+,取得服务,(),+,取得历史服务,(),+,上传附件,(),控制,:,事件中断器,控制,:,催办中断器,+,获取附件,(),+,删除附件,(),+,获取附件列表,(),+,处理事件,(),+,处理催办信息,(),代理,代理,数据访问,:,归档服务数据访问,spring:,事件服务代理,spring:,催办服务代理,+,保存归档实例,(),+,取得历史服务,(),业务实体关系,审批,-,审批人,:String,归档服务实例,-,审批结果,:String,-,评估结果,:String,+,创建归档服务,(),+,建立审批,():,审批,1,事件,1,-,操作,:String,-,操作人,:String,申请,-,操作对象,:String,-,申请信息,:String,+,创建事件,(),-,申请时间,:Date,0.*,1,申请状态,1,+,创建申请,(),0.*,+,修改申请,(),服务,0.*,催办事项,+,通过申请,(),-,服务号码,:String,-,提醒内容,:String,+,拒绝申请,(),1,-,服务提供时间,:Date,-,反馈时间,:Date,1,-,被提醒人,:String,+,生成催办信息,(),0.*,-,申请方,:String,1,-,实施方,:String,-,状态,:String,任务,+,设置服务号,(),-,任务名称,:String,+,创建服务,(),-,任务描述,:String,+,申请审批通过,(),-,解决方案,:String,+,拒绝主申请,(),1,0.*,-,预计工作量,:Long,+,设立实施方,(),+,创建任务,(),1,+,中止服务,(),+,取得任务实例,(),+,增补申请,(),+,数据申请人验收,(),+,新建任务,(),+,保存附件记录,(),周期服务,0.1,1,-,时间间隔,:Integer,-,间隔单位,:,周期单位,附件,-,周期开始时间,:Integer,1,-,数据处,活跃服务实例,-,文件名,:String,+,创建活跃服务实例,(),-,实例号,:String,-,物理文件名,:String,+,计算下次生成日期,(),验收,-,服务开始时间,:Date,-,上传人,:String,+,创建周期服务,(),-,验收人,:String,-,服务结束时间,:Date,1,0.*,-,上传日期,:Date,-,验收单位,:String,+,创建任务实例,(in,任务列表,),-,附件说明,:String,-,验收意见,:String,+,创建服务实例,(),+,创建附件,(),-,验收时间,:Date,+,获取文件地址,(),周期单位,+,创建验收,(),1,1,任务实例,+,计算周期时间,(),-,数据申请人,1,-,完成度,:Long,-,处理人,:String,-,状态,:String,签收,-,任务开始时间,:Date,-,签收人,:String,服务号生成器,-,任务结束时间,:Date,-,签收单位,:String,-,最新服务号,:Long,0.*,+,创建任务实例,(),1,-,签收意见,:String,-,服务日期,:Date,+,通过签收,(),1,-,签收日期,:Date,+,拒绝签收,(),+,取得服务号,(),+,创建签收,(),+,申请签收,(),+,记录进度,(),50,数据治理平台项目组,统一认证与用户管理模块,?,实现数据治理平台四个子系统的单点登录，及统一的用户和角色管理。,功能定义,完成情况,单点登录与认证,AD,认证,单点登录,用户与机构同步,全量同步,增量同步,用户注册,用户管理,用户角色分配,角色定义与授权,提供从“统一用户管理系统”的用户和机构数据全量同步,提供从“统一用户管理系统”的用户和机构数据每日增量,同步,提供非行内用户的注册功能,提供非行内用户的用户信息维护功能,为用户分配系统角色,平台系统角色管理与平台级授权,已完成,已完成,已完成,已完成,已完成,已完成,提供平台统一的到,AD,目录的认证,在平台各子系统间提供单点登录功能,已完成,已完成,51,数据治理平台项目组,议题,1.,系统目标与定位,2.,技术实现架构,3.,数据标准管理子系统,4.,元数据管理子系统,5.,数据质量管理子系统,6.,数据服务子系统,7.,统一认证与用户管理模块,52,数据治理平台项目组,用户访问,?,保持用户身份,?,单点登录,?,验证用户身份,?,访问,?,用户认证,?,登入,?,访问子系统,?,平台主控界面,平台子系统,?,进入子系统,?,用户信息获取,53,数据治理平台项目组,实现逻辑,?,单点登录,54,?,行内用户统一管理,?,全量,?,增量,统一登陆平台,(UAP),调用,WebService,统一用户管理,系统,返回,xml,数据,数据治理平台项目组,谢！,55,数据治理平台项目组,谢,