银行大数据治理云平台建设方案课件.pptx
银行大数据治理云平台建设方案,2,系统目标与定位技术实现架构数据标准管理子系统元数据管理子系统数据质量管理子系统数据服务子系统统一认证与用户管理模块,议题,3,建设背景,数据平台一期已构建完成并投入使用，所面临的问题：数据标准缺乏结构化管理源数据变化造成数据平台数据混乱对数据平台数据问题如何快速定位原因？如何有效监控和改善数据平台数据质量？。建设一个完整的数据治理平台，作为数据平台的管控系统，从制度、标准、监控、流程几个方面提升开行的数据信息管理能力，解决目前所面临的数据标准问题、数据质量问题、元数据管理问题和数据服务问题。,4,项目目标,围绕*银行数据平台建设，提供针对数据生命周期的管控机制，体现为以下几个出发点：数据标准规范化-规范化管理构成数据平台的业务和技术基础设施，包括数据管控制度与流程规范文档、信息项定义等。数据关系脉络化-实现对数据间流转、依赖关系的影响和血缘分析。数据质量度量化全方位管理数据平台的数据质量，实现可定义的数据质量检核和维度分析，以及问题跟踪。数据服务电子化-为数据平台提供面向业务用户的服务沟通渠道。,5,数据治理平台构成与定位,ODS,Schemas,数据集市,数据流,数据平台,管理行内数据标准,管理平台元数据，进行数据影响、血缘分析,管理平台数据质量,提供平台沟通渠道,核心业务系统,信贷业务系统,信用风险管理系统,系统,管理会计,风险,数据标准,元数据管理,数据质量管理,数据服务,分析类应用系统,数据抽取,数据提供,6,对数据平台业务的支持数据标准,7,对数据平台业务的支持元数据,数据服务,元数据子系统,元数据管理员,数据平台,数据源系统,数据抽取,查询数据平台相关元数据，为开发应用提供参考,数据变更影响评估申请,数据变更影响分析 数据问题血缘分析,应用开发者,8,对数据平台业务的支持数据质量,数据质量检核,业务部门,应用开发者,数据质量管理员,定义检核需求与规则 分析数据平台数据质量 发现、发布数据检核问题,了解本机构特定系统数据质量 提出业务数据质量检核需求,针对数据质量问题提出完善建议,9,对数据平台业务的支持-数据服务,10,数据治理相关系统关系,AD(目录)系统,统一用户管理系统,数据平台,数据服务子系统,数据质量管理子系统,元数据子系统,数据标准子系统,提供标准相关元数据,提供库表结构元数据,执行检核,提供检核系统元数据,统一认证与用户管理模块,登录认证,用户与机构信息同步,单点登录与角色管理,数据治理平台,11,系统目标与定位技术实现架构数据标准管理子系统元数据管理子系统数据质量管理子系统数据服务子系统统一认证与用户管理模块,议题,12,数据治理流程,13,系统目标与定位技术实现架构数据标准管理子系统元数据管理子系统数据质量管理子系统数据服务子系统统一认证与用户管理模块,议题,14,功能需求,管理全行数据相关的标准和规范，提供数据标准的查询与反馈等功能。,15,应用界面,16,应用界面,数据标准文档管理,数据标准制订,数据标准导入,数据标准文档 版本管理,17,应用界面,数据标准信息项管理,公共代码管理,数据标准管理,18,应用界面,数据标准反馈意见,查看反馈意见,反馈意见,19,逻辑架构,20,系统目标与定位技术实现架构数据标准管理子系统元数据管理子系统数据质量管理子系统数据服务子系统统一认证与用户管理模块,议题,21,功能需求,对源系统、数据平台以及数据治理项目中的相关的技术、业务元数据进行统一的归集管理，实现数据间的血缘分析和影响分析。,22,功能需求,23,应用界面,24,业务元数据,报表表头,报表清单,报表表头定义,报表表样导出,应用界面,25,业务元数据,报表指标,查看指标相关ER图,应用界面,26,技术元数据,影响分析,应用界面,27,逻辑结构,28,采集适配器,元数据采集适配器是一种驱动和解析器，用来接收、解析各种不用类型数据源的数据，将有效的元数据存入模型，并建立关系。在本期项目中，元数据管理系统的接口提供以下几种适配器：库表结构适配器、PowerCenter适配器、E/R Win适配器、数据平台血脉分析适配器、指标适配器、代码适配器、表头适配器等。,29,元数据存储结构,元数据存储模型层包括两部分内容：元模型定义，即通过XML实现对象、对象关系及对象行为等的定义。元数据实例存储，元数据实例存储到关系数据库中。,30,系统目标与定位技术实现架构数据标准管理子系统元数据管理子系统数据质量管理子系统数据服务子系统统一认证与用户管理模块,议题,31,系统目标,根据“数据质量检核管理办法”中PDCA方法论，基于现有数据平台，对其上数据进行全质量生命周期的管理，包括质量问题的定义、检核监控、发现分析、跟踪反馈。,检核调度,检核对象,收集需求,分析规则,规则库,执行,问题数据,修正,检核需求,检核指标,检核调度管理,数据质量检核分析,数据质量问题管理,数据质量趋势分析,数据质量知识库,32,数据质量度量分类,33,功能需求,34,功能需求,35,检核系统管理,应用界面,36,检核指标管理,主键唯一,应用界面,37,检核调度策略管理,业务解决方案,应用界面,38,数据质量检核分析,问题分布分析,批次对比分析,应用界面,39,数据质量问题管理,问题发现,应用界面,40,逻辑结构,三个层面：定义层：定义作为系统功能的核心-数据质量检核，所需使用对象、指标、调度策略等配置信息；执行层：使用已定义的检核配置信息，对数据平台数据进行检核；分析层：对检核执行结果进行定量、定性的分析与处理。前后端：前端：用户使用基于操作界面的应用程序进行交互式的检核信息定义、检核结果分析等功能；后端：系统根据检核策略在后台自动执行，无需与用户交互。,41,检核调度与分派,42,检核规则处理器类别,存储过程：固定SQL,存储过程：自定义SQL,固定Java程序,自定义Groovy规则脚本,固定,自定义,简单,复杂,43,Groovy脚本示例,package groovyimport java.sql.Connectionimport java.sql.ResultSetimport groovy.sql.Sqlimport cn.cdb.backend.RuleHandler/*author 马春宇 2008-11-11*/public class exampleGroovyRuleHandler extends RuleHandler/groovy数据库执行句柄def sql_DQDB,sql_DPDBvoid init(long KPP_BH,Connection CONNS)super.init(KPP_BH,CONNS)sql_DQDB=new Sql(conns0)sql_DPDB=new Sql(conns1)/该方法目标：定义扫描检核目标表的SQL语句。/sqlHead=select t0.rowid as DQMS_rowid,t0.ContNo as DQMS_logicalPK,t0.*from ODS_EFF.CDBCT_CONT_INFO t0;private String getSqlScanTarTable(String sqlHead)String sqlScanTarTable;String cusClause;/-自定义部分-开始cusClause=where(t0.TranSourCoun is null or trim(t0.TranSourCoun)=)and t0.data_end_date=99999999;/-自定义部分-结束sqlScanTarTable=sqlHead+cusClause;return sqlScanTarTable;/该方法目标：描述对单记录的检核规则,如是问题记录则返回false，否则返回trueprivate boolean exeSingleRecCheck(ResultSet rs)boolean succFlag=false;/-自定义部分-开始String CredStatNo;CredStatNo=rs.getString(CredStatNo);def it=sql_DPDB.firstRow(select LoanType from ODS_EFF.CDBPJ_STAT_INFO where CredStatNo=?,CredStatNo)if(it.LoanType in 51,52,53,54)succFlag=true;/-自定义部分-结束return succFlag;,44,采用技术,前端基于Ext Ajax、Spring、hibernate技术实现：检核配置定义数据质量问题管理知识库管理数据质量对比分析、检核报告系统管理基于Cognos报表系统实现数据质量分布与趋势分析后端基于Java、多线程技术实现检核调度与分派基于数据库Job Schedule、存储过程实现存储过程检核策略基于Groovy脚本技术实现复杂自定义检核规则的执行,45,系统目标与定位技术实现架构数据标准管理子系统元数据管理子系统数据质量管理子系统数据服务子系统统一认证与用户管理模块,议题,46,数据平台服务单流程,47,功能需求,48,数据服务审核,审核申请,功能界面,服务分配,49,功能界面,数据服务实施,任务创建,任务签收,服务验收,50,逻辑结构,控制层逻辑,业务实体关系,51,统一认证与用户管理模块,实现数据治理平台四个子系统的单点登录，及统一的用户和角色管理。,52,系统目标与定位技术实现架构数据标准管理子系统元数据管理子系统数据质量管理子系统数据服务子系统统一认证与用户管理模块,议题,53,用户访问,访问,用户认证,单点登录,用户信息获取,平台子系统,登入,保持用户身份,平台主控界面,访问子系统,验证用户身份,进入子系统,54,实现逻辑,单点登录,行内用户统一管理全量增量,55,谢谢！,
