对公数据集市项目培训材料58张课件.pptx

对公数据集市介绍,对公数据集市项目组,2019年1月,对公数据集市介绍对公数据集市项目组2019年1月,目录,对公集市架构介绍,对公集市背景及目标,补录与产品、报表重跑,对公集市功能介绍,对公集市下游介绍,数据仓库概述,银行业务简介,目录 对公集市架构介绍对公集市背景及目标030406补录与产,目录,对公集市架构介绍,对公集市背景及目标,补录与产品、报表重跑,对公集市功能介绍,对公集市下游介绍,数据仓库概述,银行业务简介,目录 对公集市架构介绍对公集市背景及目标030406补录与产,数据仓库是一个面向主题的、集成的、非易失的且随时间变化的数据集合，用来支持管理人员的决策。数据仓库的四个特点： 1）面向主题 2）集成 3）非易失 4）随时间变化,数据仓库概述,数据仓库是一个面向主题的、集成的、非易失的且随时间变化的数据,操作系统是面向事务处理的。事务处理关注的是整个事务操作流程，即操作系统是围绕事务操作流程来组织数据的。数据仓库是面向主题的。主题是管理人员分析问题的重点。面向主题就是所有的数据都是根据主题来组织的。即数据仓库的数据都是围绕分析的重点来进行组织数据的。,面向主题,面向主题,操作系统,数据仓库,票据,信用证,贷款,客户,协议,产品,操作系统是面向事务处理的。事务处理关注的是整个事务操作流程，,集成是数据仓库最重要的特性。集成并不是简单的把数据聚合在一起，还要消除数据的不一致性。由于数据仓库是面向主题的，一个主题下可以包含多个源系统的数据，只有统一各个源系统不同的编码，才能在同一个主题下汇总、分析数据，从而消除不同系统间的信息孤岛问题。,集成,客户 A：A1性别 男：M机构 O：O1,客户 A：A2性别 男：0机构 O：O2,客户 A：A3性别 男：1机构 O：O3,客户 A：A性别 男：M机构 O：O,操作系统,数据仓库,核心,信贷,国结,MAPPING,集成是数据仓库最重要的特性。集成客户 A：A1客户 A：A2,操作系统是实时、事务级的更新和小数据明细的查询。数据仓库是定期、批量更新和大数据汇总查询的。由于数据仓库一般并不会更新历史数据，所以数据仓库是非易失的。,非易失,操作系统,数据仓库,载入,访问,修改,增加,删除,查询,操作系统是实时、事务级的更新和小数据明细的查询。非易失操作系,操作系统一般只会保留数据的最新记录。数据仓库需要保留各个历史时点的数据，已便于对数据在时间维度上进行分析、挖掘。,随时间变化,操作系统,数据仓库,时间期限：近三个月记录更新日期戳可有可无,时间期限：510年复杂的快照数据时间维度,操作系统一般只会保留数据的最新记录。随时间变化操作系统数据仓,自顶向下：先建设数据仓库，再建设数据集市自底向上：先独立建设数据集市，在统一维度总线的基础上合成数据仓库,数据仓库的两种建设方式,核心,信贷,国结,数据仓库,对公集市,零售集市,风险集市,核心,信贷,国结,数据仓库,对公集市,零售集市,风险集市,自顶向下,自底向上,统一维度总线,自顶向下：先建设数据仓库，再建设数据集市数据仓库的两种建设方,一般银行业数据平台架构,一般银行业数据平台架构,数据架构中的关注点（五个维度）,缓冲层,基础层,汇总层,应用集市层,数据架构中的关注点（五个维度）目标服务数据加载；长期的，细节,数据架构之EDW,12,数据平台,EDW,供统一的业务口径避免集市的重复加工随着应用建设逐步完善业务统计口径变化，ETL会随之变化视情况保留较长历史,为ETL方便设计的专用层，可加载增量或全量数据在此层完成数据同构化数据原样加载，保持与源结构一致一般按照业务系统进行命名识别可保留部分最近数据以供重新加载,面向整合主题设计标准化数据3NF设计保留较长历史,面向应用，按需定制可分为内部集市和外部集市可通过反范式提高响应性能可为汇总层提供扩充依据视情况保留较长历史,数据架构之EDW12数据平台上报数据报表数据指标数据查询数据,从前面一般银行数据仓库的架构可以看出，数据集市是数据仓库的一个子集，是为特定的分析应用而建设的。数据集市根据所处位置的不同分以下几类：,数据集市,数据仓库,源系统,.,信用卡,网银,基金代销,核心,信贷,国结,数据缓冲层,仓内物理集市,仓外物理集市,仓内逻辑集市,整合数据层,共性汇总层,从前面一般银行数据仓库的架构可以看出，数据集市是数据仓库的一,目录,对公集市架构介绍,对公集市背景及目标,补录与产品、报表重跑,对公集市功能介绍,对公集市下游介绍,数据仓库概述,银行业务简介,目录 对公集市架构介绍对公集市背景及目标030406补录与产,资产业务（客户立场）：活期：单位活期存款是指，不规定存款期限，客户可以随时存取，并按活期存款利率按季计取利息的存款。定期：单位定期存款是客户与我行事先约定存款期限，到期后支取本息的存款。保证金：保证金是指客户或第三方为担保客户履行与我行签定的相关合同义务，出于设置担保目的而存入我行的，归客户或第三方所有但由我行占有的特定化的资金。负债业务（客户立场）：一般贷款：负债业务主要是银行对单位客户提供资金融通的表内业务。一般贷款是指一般的资金融通业务，不包含保理和贴现。保理：保理是一项综合性金融服务。在保理业务中，卖方将其现在或将来的基于其与买方订立的货物销售/服务合同所产生的应收帐款转让给银行，由银行提供贸易融资、账户管理、应收账款催收、风险控制等服务。贴现：贴现是商业汇票的持票人将未到期的商业汇票转让给银行，银行按票面金额扣除贴现利息后，将贴现金额付给持票人的一种融资行为。,银行对公业务,资产业务（客户立场）：银行对公业务,表外业务：所谓表外业务，即不计入资产负债表的业务，国家对这部分业务的限制较少，也不影响银行资产负债表，是目前银行大力发展的业务。保函：又称保证书，是指银行、保险公司、担保公司或个人应申请人的请求，向第三方开立的一种书面信用担保凭证。保证在申请人未能按双方协议履行起责任或义务时，由担保人代其履行一定金额、一定期限范围内的某种支付责任或经济赔偿责任。银行保函包括履约保函、预付款保函、投标保函、维修保函、预留金保函、税款保付反担保函、海关风险保证金保函等。信用证：信用证系指，银行依照申请人的申请向受益人开出的，凭符合信用证条款规定的单据支付一定金额的付款承诺。信用证是国际结算的一种重要工具。银行承兑汇票：银行承兑汇票是指，由承兑申请人签发并向开户银行申请，经银行审查同意承兑的商业汇票。其中，商业汇票是出票人签发的，委托付款人在指定日期无条件支付确定的金额给收款人或者持票人的票据；承兑是指汇票付款人承诺在汇票到期日支付汇票金额的票据行为。,银行对公业务,表外业务：银行对公业务,目录,对公集市架构介绍,对公集市背景及目标,补录与产品、报表重跑,对公集市功能介绍,对公集市下游介绍,数据仓库概述,银行业务简介,目录 对公集市架构介绍对公集市背景及目标030406补录与产,为更好的贯彻最佳银行战略，做好公司业务客户管理和营销工作，进一步巩固和发挥平安银行业务优势实现公司银行的战略目标。 为适应平安银行对公业务管理需要，为支持最新的对公业务管理工作方针，为配合、推进平安集团综合金融的战略要求；必须实现银行对公客户信息整合，形成对公数据集市,通过整合客户的数据信息，进一步挖掘客户的价值信息，更好的支持公司业务客户营销、管理分析工作的开展。挖掘客户的潜在需求，为我行制定个人业务发展战略、产品创新、客户服务的准确定位提供了良好的、科学的分析依据。同时，为战略客户的营销和管理提供依据，通过客户信息的整合，客户经理及各层级管理领导、各分支行机构能全方位的360度的了解公司客户过去及现状的全貌，能第一时间了解客户的营销意向，能清晰的知道客户给我行带来的价值，以日常工作平台为高效的沟通管理工具，对重点项目、销售机会和营销活动等营销服务管理的资源共享和工作协同，实现银行E化营销销售流程管理，并带来新的客户服务体系、科学的市场营销策略、更低的营销和服务成本、更高的客户保留率、优化的银行市场价值链条、以及增加银行业务量、提高商业银行核心竞争能力，实现公司银行的战略目标。,项目背景,为更好的贯彻最佳银行战略，做好公司业,项目目标,项目目标功能范围简述银行对公客户信息整合包括客户基本信息、客,目录,对公集市架构介绍,对公集市背景及目标,补录与产品、报表重跑,对公集市功能介绍,对公集市下游介绍,数据仓库概述,银行业务简介,目录 对公集市架构介绍对公集市背景及目标030406补录与产,集市总体架构,对公数据集市（Oracle（11G）,明细区,汇总区,数据采集平台,应用系统,ODS数据平台,E T L （落地文件）,历史归档,数据标准管理,数据质量管理,业务应用数据,实时数据服务,数据服务区,批量数据服务,直连,应用数据整合与输出,源系统,核心,信贷,网银,票据,国结,第三方,补录,对公CRM,对公绩效,对公客户升级,对公报表,精准营销平台,SAS,指标区,交易系统点对点文件传输,应用数据整合与输出,报表数据,挖掘区,部门特色需求,收益、补录数据,PDM（明细层 GreenPlum）,集市总体架构对公数据集市（Oracle（11G）明细区汇总,集市数据架构,应用系统,数据标准管理,数据质量管理,源系统,ODS平台,汇总区,指标区,数据服务区,报表数据,部门特色需求数据,差异统计,临时统计,其他需求,专题分析,挖掘区,业务应用数据,SAS直连,固定报表,多维报表,管理驾驶仓,对公CRM,对公绩效,对公客户升级,精准营销平台,余额汇总,贡献度汇总,产品汇总,其他汇总,交易汇总,客户扁平化,客户标志,对公CRM,对公绩效,对公客户升级,对公报表,精准营销平台,SAS,账户数指标,客户数指标,交易量指标,资产类指标,负债类指标,收支类指标,明细区,利率类指标,客户主题,汇总区,部门快报,其他指标,指标区,精准营销平台,数据服务区,客户基本信息,客户映射关系,客户联系信息,帐号主题,账户基本信息,账户扩展信息,账户客户关系,产品主题,产品基本信息,产品账户映射,客户权益,客户收益信息,客户风险信息,客户分层标准,交易 主题,交易整合信息,交易对手信息,银行组织,财务主题,附属信息,各系统账务信息,银行机构信息,银行员工信息,公共信息,公共维度信息,其他附加信息,明细数据区,集市数据架构应用系统数据标准管理数据质量管理源O汇总区指标区,集市物理架构,对公数据集市环境配置：生产环境：2台 IBM P720 8C 32G 1T 存储 IP： 10.1.39.224、10.1.39.225,集市物理架构对公数据集市环境配置：,集市数据加工流程,集市数据加工流程,目录,对公集市架构介绍,对公集市背景及目标,补录与产品、报表重跑,对公集市功能介绍,对公集市下游介绍,数据仓库概述,银行业务简介,目录 对公集市架构介绍对公集市背景及目标030406补录与产,系统功能介绍,集市功能介绍生命周期管理调度批次介绍,系统功能介绍 集市功能介绍,对公数据大集中（集成21个对公系统数据）,对公数据大集中（集成21个对公系统数据）序号系统业务数据1统,对公数据源统一,各个业务单元和对公管理系统使用数据源统一由对公数据集市提供。其中包括：数据来源一致、统计口径一致两方面的内容。数据来源一致数据源统一除了构建统一标准的对公数据集市之外，更为重要的是：统一共识，业务数据必须由对公数据集市提供。数据需求可向数据集市提出，数据集市必须快速响应。数据集市必须有足够的前瞻性和总结性，可以容纳范围更广的业务数据。统计口径一致统计口径一致，需要收集和约定一份能达成统一认识的统计口径说明。如：资产负债以总账为标准其它信息以公司银行部为标准。,对公数据源统一各个业务单元和对公管理系统使用数据源统一由对,对公数据集市模型,归集对公条线所有数据，按主题划分，通过不同主题分类归集并统一银行对公数据，逻辑模型采用雪花模型进行建模，形成客户、产品、客户经理分析为支撑的大数据分析模型。,对公数据集市模型主题表前缀功能概述客户主题F_CUST归集以,对公集市模型-客户主题,对公集市模型-客户主题,对公集市模型-账户主题,对公集市模型-账户主题,对公集市模型-账户主题续,对公集市模型-账户主题续,对公集市模型-银行组织,对公集市模型-银行组织,对公集市模型-产品主题,对公集市模型-产品主题,对公集市模型-交易、客户权益与财务主题,对公集市模型-交易、客户权益与财务主题主题中文表名英文表名交,对公集市模型-附属信息,对公集市模型-附属信息主题中文表名英文表名附属信息担保合同F,360度客户视图数据加工,建立客户立体化信息视图，汇聚各类客户信息，提供跨越客户生命周期的全方位客户信息，支撑以客户为中心的营销、销售、服务一体化。,汇聚各系统客户信息，建立统一的客户信息模型；按照6大分类，汇总客户数据；对各类应用提供客户信息支持。,整合客户信息、产品信息、交易信息等数据，结合精准营销平台、绩效考核等应用口径，建立客户统一视图，提供标准的客户基础信息、统一客户识别信息。,客户权益关系,客户行为信息,客户持有产品信息,客户信用与风险,客户基本信息,360度客户视图,客户签约信息,360度客户视图数据加工建立客户立体化信息视图，汇聚各类客户,客户360度视图信息,客户信息360度视图是全方位了解银行公司业务客户的重要方式，对公数据集市以BECIF号为银客户的唯一标识，通过整合客户的数据信息，进一步挖掘客户的价值信息，更好的支持我行公司业务客户营销、管理分析工作的开展。 通过客户信息的整合，客户经理及各层级管理领导、各分支行机构能全方位的了解公司客户过去及现状的全貌，能清晰的知道客户给我行带来的价值，能第一时间了解客户的营销意向等，进而可以满足我行日常营销、分析决策以及业务发展需要。,客户360度视图信息 客户信息360,潜在客户收集,潜在客户收集信贷系统信贷系统存在客户信息，在核心系统不存在客,建设对公营销产品目录树,建立全行统一的对公营销产品目录树,实现产品核算,统计客户持有产品,对各产品进行定义，并使用一致的方法进行组织产品维度结构，描述各产品分类及定义；整合公司条线所有产品，形成统一的满足营销需要的“平安银行对公产品目录”（以下简称产品目录）。,产品目录将与SAP产品核算建立配对关系，在SAP中实现各产品、账户的核算。包括营业收入、营业支出、净利润等。,依托对公数据集市及SAP产品、账户核算，统计客户持有产品情况，包括持有各类产品余额及汇总、户均持有产品数等。,建设对公营销产品目录树建立全行统一的对公营销产品目录树实现产,对公营销产品目录树配置映射(19大类）,对公营销产品目录树配置映射(19大类）产品条线产品大类产品映,持有产品分析,产品的客户占有率,产品利润率,产品的客户占有率统计，按产品的十九大类，统计持有产品的客户占有率。,分析和统计产品的收入、支出、成本等，统计产品的利润率等。,产品贡献度,通过分析产品的收益、成本、支出，统计产品对分行、事业部的贡献度。通过我行现有产品的贡献度进行排名，找到贡献度最高的前几个产品，作为明星试点产品,产品相关性,根据持有产品的客户特征，持有产品特征的相关性，找出交叉产品，产品间的关联关系。,团队持有产品分析,按团队持有十九大类产品，分析持有产品的客户数、时点余额、产品余额月日均、产品余额年日均、产品支出金额、产品收入金额、产品创利。,持有产品分析产品的客户占有率产品利润率产品的客户占有率统计，,系统模型介绍-码值整理,通过该表，可以把来源于不同系统的不同代码与码值关系，统一到对公集市统一的代码与码值的映射关系。,逻辑表名代码映射表物理表名F_ATT_CODE_MAP_B逻,系统模型介绍-码值整理,通过这两个表，可以查看对公集市每个表每个码值字段对应的相应代码。注意：目前对公集市的码值还需要不断的增加和完善。,系统模型介绍-码值整理逻辑表名代码字段映射关系表逻辑表名代,数据生命周期管理,数据生命周期管理逻辑表名数据生命周期管理物理表名S_DAT,数据生命周期管理-举例,分区表，一般策略为保留7天历史数据，附加策略为保留3年月末数据,分区表，一般策略为保留3年历史数据，没有附加策略,分区表，一般策略为保留3个月历史数据，附加策略为保留3年月末数据,分区表，因为状态为失效，所以数据生命周期管理策略不生效,非分区表，一般策略为保留7天历史数据，附加策略为保留3年月末数据,数据生命周期管理-举例模式名表名周期类型周期是否分区表分区模,调度批次介绍,明细层与汇总层的作业结束都加了trig标志，作业名为表名加“_trig”,调度批次介绍任务名称任务描述开发用户任务内容task_pdm,调度批次介绍-依赖关系,task_pdm_codm_detail,task_app_codm,task_app_codm_int,task_pdm_codm_detail _month,task_app_codm _month,task_app_codm_int _month,task_app_codm_life_cycle,日批,月批,调度批次介绍-依赖关系task_pdm_codm_detai,目录,对公集市架构介绍,对公集市背景及目标,补录与产品、报表重跑,对公集市功能介绍,对公集市下游介绍,数据仓库概述,银行业务简介,目录 对公集市架构介绍对公集市背景及目标030406补录与产,系统补录数据,系统补录数据序号补录表名补录表英文名1贸融结售汇业务数据IN,产品目录树、报表重跑,1、产品模块重跑： 原则上要求上月末的补录在1号完成，实际上业务补录会延迟，每月补录的数据日期为上月最后一天，所以每次重跑，都需要重跑产品目录树的所有脚本，跑数日期为上月最后一天至数据补录完成前一天的批次数据，例：在20191208完成数据补录，20191208当天跑的是20191207批次数据，那么就需要重跑20191130-20191206的批次数据。2、报表模块重跑： 调度MOIA报表任务（报表重跑前提是产品目录月末数据重跑完）在生产MOIA中重新调度报表的任务，任务名称：task_app_codm_rpt_month将任务重置，参数为YYYYMMDD(月末最后一天，例如：20191231 ),产品目录树、报表重跑1、产品模块重跑：,目录,对公集市架构介绍,对公集市背景及目标,补录与产品、报表重跑,对公集市功能介绍,对公集市下游介绍,数据仓库概述,银行业务简介,目录 对公集市架构介绍对公集市背景及目标030406补录与产,系统下游介绍-主要下游系统,对公数据集市精准营销平台对公绩效其他对公系统对公综合报表系统,精准营销平台第一批接口（54个）,精准营销平台第一批接口（54个）接口表名英文表名接口表名英文,精准营销平台第二批接口（46个）,精准营销平台第二批接口（46个）接口表名英文表名接口表名英文,对公报表（47张）,对公报表（47张）提出部门报表名称提出部门报表名称网络金融部,Thank you!,Thank you!,对公数据集市项目培训材料58张课件,