金融公司大数据分析平台总体架构方案课件.ppt

,金融公司大数据分析平台总体架构方案,议程大数据分析平台综述123945大数据分析平台总体架构大数据分析平台演进路线大数据分析平台一期实施重点附录:数据质量管理平台,金融集团管理分析类应用建设现状基本分析基本的现状存在的多关注的内容商城已建立面向整个零售业务的数据商城数据仓库累积数据没有充分利用数据平台整体架构;仓库,整合了前台业务运营数据和后缺乏面向整个金融集团的统一、完整数据平台各层建设的标准台管理数据,建立了面向零售的管理的数据视图较成熟的金融业数据横型分析应用缺乏支撑金融集团日常业务运转的风数据质量治理;金融集团已开展供应链金融、人人贷险评估体系元数据管理和保理等多种业务,积累了一定量的缺乏金融集团客户360度视图,客户数据标准建设业务数据,同时业务人员也从客户管行为分析和预测无法实现数据整合;风险评级和经营规模预测等方面缺乏面向金融业务运营管理的关键绩数据应用建设;提出了大量分析预测需求;效指标体系;数据平台的软硬环境数据平台、数据应用、数据管控基础数据平台和B应用建设是未来一段时间的重点!,大数据分析平台建设目标通过数据平台和B应用建设,金融集团将搭建统一的大数据共享和分析平台,对各类业务进行前瞻性预测及分析,为集团各层次用户提供统一的决策分析支持,提升数据共享与流转能力统一制定目标和分自定义报表工具多种格式报表B|分析工具行+列的简单定义方式圖数据推送平台已实现了主要零售及金融业务系统统一定义BL应用查看职能都门的集团决策层数据清洗、整合,为未来金融集团数据平台提供了业务经营情况丰富的数据源统一规划分析划分分析主题統一部署技术基础供应链金系部非结构化数据P系统采购管理系统共他业务系统各級业务操作,大数据分析平台建设预期收益1.实现数据共拿通过数据平台实现数据集中,确保金融集团各级部门均可在保证数据隐私和安全的前提下使用数据,充分发挥数据作为企业重要资产的业务价值实现分散在供应链金融、人人贷、保理等各个业务系统中的数据在数据平台中的集2加强业务协作中和整合,建立单一的产品、客户等数据的企业级视图,有效促进业务的集成和协作,井为企业级分析、交叉销售提供基础3促进业务创新金融集团业务人员可以基于明细可信的数据进行多维分析和数据挖掘,为金融业务创新(客户服务创新、产品创新等)创造了有利条件通过数据平台对数据进行集中,为管理分析、挖掘预测类等系统提供一致的数据基4提升建设效率础,改变现有系统数据来源多、数据处理复杂的现状,实现应用系统建设模式的转变,提升相关T系统的建设和运行效率5改善数据质量从中长期看,数据仓库对金融集团分散在各个业务系统中的数据整合、清洗,有助于企业整体数据质量的改善,提高的数据的实用性,议程大数据分析平台综述2345大数据分析平台总体架构大数据分析平台演进路线大数据分析平台一期实施重点附录:数据质量管理平台,大数据分析平台总体架构数据T人员内部用户管控平台!品内部管理分析业务沙盘演练应用集市数据区客户管理财务管理又险管理沙盘演练数据区增信实奥主数据管控客户汇总账待社交媒体处题数数据计理后大数据沪协议题产兰算层区零告就先京贴源数据区大数活交接短件数活车数提交实组件数区技交染件数据交换平台p睡目目目企业内外部半结构化、非结构化数据产生层,大数据分析平台总体架构数据产生层源数据内容内部业务系统产生的结构化数据商城日常零售业务处理过程中产生的结构化数据,存储在关系型数据库中,如:供应商信息、采购信息、商品信息、销售流水令金融集团日常业务处理过程中产生的结构化数据,存储在关系型数据库中,如:客户信息、账户信息、金融产品信息、交易流水企业内部非结构化数据日常业务处理过程中产生的非结构化数据,存储形式多样,主要包括用户访问日志、用户投诉、用户点评企业外部数据令企业外部数据以非结构化为主,主要包括国家政策法规、论坛等互联网信息、地理位置等移动信息、微博等社交媒体信息源数据增量在本次项目实施中将采用以增量为主、全量为辅结合的方式获取源数据商城和金融集团业务系统的数据增量数据识别、获取由云数据推送平台负责,云数据推送平台采用分析、对比源系统日志方式实现对于无法通过上述方式获取增量的源系统数据,则采用某一个时间范围内的全部数据作为增量初始数据加载均采用全量模式,大数据分析平台总体架构一数据交换层传输组件是根据数据源存储的不同分类而设计的,本质是通过分析数据存储结构和数据存储库的特点来针对性的设计工具,以追求卓越的性能数据交换层设计目标数据服务层保证数据在平台内高速流转数据区数据交数据库数据交大数据交换组换组件保证数据交换过程中不失真NAS存储Hado数据平台导入|数据平台导出|E程元数据临时区临时区序区保证数据交换过程中不丢失云数据推送平台保证数据交换过程安全可靠商城系统金融集团系统据,大数据分析平台总体架构数据交换层NAS存H美群元数存铺数据平台各个他饮集群的元数据信息,如13文件系统据区元数据集团数据交换平台每日获取运输局推送平台提供的业务系统变数据平台临时数化数据,暂存在Ns临时数据区据区金融数据平台加工计算结果返回给业务系统,暂存在NAs临时数据区数据平合教据里净一存请在心集样定目柔,各接口展务器通过文件处理程序区系统Link建立映射,