Informatica主数据管理解决方案课件.ppt

统一主数据管理平台方案但彬Informatica 中国,Informatica 专注于数据集成的独立软件开发商,成立时间:19932012年收入为:8.116亿美元7年平均增长率:每年17%员工人数:2,810多人合作伙伴:450多家主要的系统集成商、独立软件供应商、原始设备制造商和按需生产的先驱客户:超过5,000家客户遍布全球82个国家直接客户遍布全球28个国家客户忠诚度排名位居榜首（已连续7年获此殊荣）,1.数据采集,数据仓库,分析应用,BI,报表,数据挖掘,仪表盘,任意格式任意数据源任意延时任意模式,ERP,CRM,办公,PLM,财务,网站,业务系统,2.数据审计与发现(数据探查),3.数据质量管理(建立和管理数据质量规则，仪表盘，报警等),5.主数据和参考数据管理,渠道,区域,产品,客户,4.数据处理,Any formatAny sourceAny latencyAny mode,8.元数据管理(操作型,技术型,业务层),7.数据归档,归档,Retrieval,6b.数据虚拟化,外部数据,复杂事件处理,Informatica 产品定位,内容提要,从公司治理到主数据管理主数据平台解决方案Informatica 案例分享,集团企业数据利用的发展与挑战,财务管理,投资管理,客户服务,人力资源,决策支持,不同的系统管理各种业务流程走向精细化协同管理利用数据仓库汇集数据但是企业内外协同受信息流现状的制约面临的问题数据标准数据质量管控流程,集团,产业集团,企业数据仓库,企业数据集成,公司治理 影响公司业务方向、管理、和控制发展路线的一系列流程、策略、惯例、规章制度等。,IT治理 确保IT能够支撑企业战略目标的管理、组织架构、和流程。,主数据治理确保企业主数据的有效性、可访问性、质量、一致性、可审性、和安全性所需要的流程、策略、标准、和技术。,从主数据入手，提升主数据质量，是业务管控的基础,业务流程,CRM System,ERP System,Order Mgmt System,Finance System,HR System,主数据的重要性大多数的数据质量问题是主数据问题使治理目标和范围明确主数据系统使咨询内容落地,客户、产品、服务、供应商、机构、资源等组成完整的 360度主数据视图,客服,金融客户,网上业务,离港,机票,积分,航段,航空客户,物流客户,旅业客户,储蓄,住宅,健康,支付,意外,养老,助学,发件,配偶,收件,酒店,票务,物流,旅行代理,业务经理,孩子,企业,航空,保险代理,不同主数据是业务的不同视角：客户角度产品、服务机构资源产品角度客户资源机构供应商角度产品机构角度产品客户资源资源角度机构产品客户,完整的主数据视图,父母,提高生产力和效率提高决策能力提高业务灵活性提高合规性问题：贵公司实施主数据项目的主要原因是什么？业务需求技术需求面临哪些难题,主数据管理的驱动力,企业集团主数据平台集中管理各类主数据,Acct Rep,Organization,Account,Customer,Product,MDM,数据管理,DI/DQ,财务管理,投资管理,客户服务,人力资源,决策支持,DW,数据服务,灵活的数据模型可定制的业务逻辑和工作流程可配置的用户界面/接口解决不同领域业务问题可用统一的平台扩展到解决其他业务问题和领域,预定义数据模型预定义的业务逻辑和工作流程预定义的用户界面/接口解决特定领域的业务问题扩展到其他业务领域需要购买新的应用,平台级 MDM,应用级 MDM,根据客户的特有需求进行配置，使用不同客户需求,预置的应用以解决特定的主数据问题(customer,product,financial),Customer,Product,COA,客户,产品,COA,主数据管理的不同实现路径,Informatica MDM 简介经验证的多域主数据方案,部署情况,市场影响力,跨越多行业的平台级解决方案(Financial Services,Life Sciences,High Tech),大量案例证明在多域主数据部署的能力,快速部署 平均上线时间:3-9 个月最具伸缩性解决方案 最大 450M 主记录数的成功案例可验证的多域主数据 几乎一半的客户都在统一平台上部署了客户和产品域,超过 50%的财富 500 企业和全球 500强企业 Merrill Lynch,Deutsche Bank,Johnson&Johnson,Pfizer,Apple,Kodak,Cadbury,跨越多行业的客户解决方案(25+solutions),Informatica MDM 提供产品、客户、账户等关键数据的统一视图，快速低成本提升业务运营、客户体验、以及合规等能力,Informatica 主数据管理平台统一管理多域主数据,MDM,现有哪些应用系统涉及主数据？ERP、CRM、PLM、PDM重点关注哪些主数据？客户、产品、供应商应用系统可能以哪种方式与主数据交互？批量、实时、准实时,为应用和数据仓库交付可信的数据,管理统一、可信、真实的主数据,数据清洗和标准化,剖析、发现数据内容、一致性、数据结构,从不同的应用和数据源访问、获取数据,平台需要的能力,数据获取,数据探索,数据清洗,数据管理,数据发布,1,2,3,4,5,ESB,统一客户数据平台架构,企业数据集成平台,运营支撑,分析决策,数据集市,仪表板,分析报表,业务应用,遗留数据,社交媒体和第三方数据,数据质量,数据探索,1,2,3,主数据管理,4,ODS,数据管控,模型管理,合并管理,重复识别,数据关联,Ora数据仓库,运行、生产、销售,数据管理平台,TD数据仓库,客户/市场,ESB,数据发布服务,5,Informatica 产品在主数据管理中的定位,Operational,Analytical,CIF,Legacy Systems,DataWarehouse,Data Marts,Portal/Dashboard,Business Intelligence,Legacy Systems,Applications,Applications,Legacy,Third PartyData,Master Data Management,MDM Foundation,实时交付可信的、相互关联的主数据,及时交付可信的、相互关联的数据,DataQuality,DataProfiling,DataIntegration,DataServices,1,2,3,5,MasterDataManagement,4,数据获取,关键需求:在任意的源和目标数据之间进行数据访问和发布各种数据格式，各种地方不同的延迟需求(批量,实时,消息队列)高性能和高可用支持不同MDM部署风格元数据可视化,数据集成,1,DataIntegration,产品支持:Informatica PowerCenterInformatica PowerExchangeInformatica B2B Exchange,数据探索,关键需求:发现和记录数据中的所有异常将问题进行分类（完备性、遵从性、一致性、准确性、唯一性、依赖性）,数据探索,2,DataProfiling,产品支持:Informatica Data Profile,数据清洗,关键需求:数据清洗数据丰富地址标准化数据监控和报告基于SOA 访问DQ规则 根据条件的格式校验规则数据变化，去噪，转换开放式清洗架构,数据清洗,3,DataQuality,产品支持:Informatica Data QualityAddressDoctor,数据质量问题实例,完整性 COMPLETENESS,合法性 CONFORMITY,一致性 CONSISTENCY,重复性DUPLICATION,关联性INTEGRITY,准确性ACCURACY,值域划分RANGE,完整性:丢失关键数值,合法性:非法格式,Consistency:Incorrect Format,一致性:数据是格式正确并完整，但不符合业务逻辑,Duplication:Fuzzy matching,重复性:模糊匹配,关联性:识别记录关系,关联性:识别记录关系,准确性:须利用其他数据来验证其准确程度,值域划分:界定数值范围,特性,剖析,解析,清洗,标准化,Comprehensivedata quality,数据丰富,匹配,剔重,数据质量功能一览,共同参与数据质量工作,数据经理业务主管,IT开发人员,数据管理人员,记分卡,基于WEB 客户端,使用Analyst对数据进行全方位的剖析,Data Steward,Reuse data quality rules in profiling analysis,使用Developer开发具体任务,流间分析在处理流程中任意位置进行分析,剖析数据源,剖析处理单元,剖析规则,量化质量，跟踪监控基于web的积分卡便于共享,数据主管业务经理,基于Web格式的记分卡 是你能够:查看和共享数据质量记分卡下钻到具体数据制定策略，降低对业务的影响,Data Quality 可提供每个实体对象记分卡及监控,规则,DQA-业务人员可手工管理不良数据,案例 Data Quality Framework KPI Calculation And Aggregation Model(CAAM),Representation of Data Quality Index Data Quality dashboards By Influencing factors By Source of Information DQI on End user reports,数据质量分析/监控,管控数据生命周期中的创建，使用，关联，和监控,关联多种主数据，建立关系视图,通过合并创建真实可信的统一的数据视图,快速匹配和精确识别重复数据,通过灵活的模型支持，定义各种类型的主数据,MDM关键功能 数据管理,Model,Recognize,Resolve,Relate,Govern,数据管理,4,MasterDataManagement,产品支持:Informatica MDM,数据发布,关键需求:同步可信的主数据到下游应用和数据仓库获得统一的主数据视图和相关的交易数据,数据发布,5,DataServices,产品支持:Informatica PowerCenterInformatica PowerExchange,Informatica Data ServicesInformatica Complex Event Processing,模型的重点是方法和参考没有完全适应的模型，所以定制能力很重要Informatica MDM支持各种模型和定制同时我们有金融、制造、零售等多个行业成功实施的模型,模型管理灵活的模型支持,RECOGNIZE,Recognize,MasterDataManagement,关键能力:根据配置的规则，识别在多个系统中存在的潜在的匹配对象根据阈值定义，确定是否匹配 将有疑似的匹配结果，通过业务流程提交人工确认将确认重复的数据进行合并,重复识别模糊匹配技术,综合管理系统,呼叫中心,营销系统,Identity Resolution,客户样例,使用模糊匹配，标示相似的数据.使用数据子集进行精确匹配(i.e.姓、名、联系方式、ID信息、地址信息等),创建唯一的ID,并为黄金记录选择恰当的属性,创建交叉引用索引，指向原有系统的主键和系统标示,数据合并业务整合衔接,数据覆盖原则数据合并的关键,客户主数据,Liquid Assets$190,157$383,522$559,934,Equity$3,342$40,666$109,354,PublicYYY,Credit RatingAAA-AA-AAA,DomicileFranceUSAUSA,Party NameIXIS Corporate&Investment BankWells Fargo&Co.General Electric Company,As of Date1/31/20063/27/20064/15/2006,ADDR1Elm and Carlton Streets123 Main Street57,rue du Foubourg,CITYMinneapolisNew HavenParis,ADDR5504231426375003,ADDR4MNCT,Name_FullWells Fargo&Co.General Electric CompanyIXIS Corporate&Investment Bank,Policy#308-03-8500005-10-4640917-13-8500,个险,American Medical Association Data,RatingBaaAaaAAA,CountryUSUSFR,Company NameWells Fargo&Co.IXIS CIBGE,Policy#308038500410051046400291713850028,As of Date8/26/20076/15/20071/30/2008,团险,Address57 rue du Foubourg6th and Marquette123 Main St,CityParisMinneapolisNew Haven,Zip7500355405,StateMNCT,Company NameIXIS CIBWells FargoGE Financial,Call in#852139999503829837762,C.C.,Ticker SymbolWFCGE,Total Assets$207,059$481,741$673,342,COUNTRYUSAUSAFrance,Liquid Assets$190,157$383,522$559,934,Equity$3,342$40,666$109,354,Total Assets$207,059$481,741$673,342,SIC Code602160213511,Industry602160213511,关键要素:跨系统、跨应用能力为不同的商业目的，创建、管理多种不同的层次关系关联不同的实体，构建360-度视图保持所有实体、实体关系历史,RECOGNIZE,Relate,MasterDataManagement,数据关联构建360度视图,传统数据源,整合社交媒体信息,PowerCenterPowerExchange,InformaticaMDM Hub,FMS,CRM,社交媒体,创建,使用,管理和监控创建和维护高质量的主数据校验，增加，丰富数据特定数据的审批和业务协作可定制的灵活的客户数据搜索交互式客户层次，关系浏览，维护快速客户识别与合并处理任务分发管理和流程定义主数据历史和血缘追踪层次结构历史记录和对比主数据审计,业务用户数据管理界面,数据管控控制数据过程,Informatica MDM 主要界面,Admin Console系统配置数据模型规则(清洗,匹配,信任，校验,分发等)Java Swing Console,Informatica Data Director数据管理员/用户界面数据管控功能创建,管理,使用,监控集成的工作流基于Web页面的配置和使用界面,Informatica Data Controls将主数据呈现给业务用户层次关系管理历史数据管理事前数据质量控制预防数据重复,Products,管控界面,数据匹配与任务管理,首页仪表板显示待办任务,流程的当前MDM用户会收到任务提醒，可以在此打开任务，进行数据操作，并批准或退回。,社交媒体整合Bettie通过社交媒体交友、购物、表达观点,Bettie同时是我们的客户,通过社交媒体数据，丰富客户关联关系,移动设备应用,三类接口支持系统之间的集成,数据管理平台,ERP,CRM,数据仓库,主数据层,整合层,业务层,数据整合平台（DIH）,流程整合平台（BPM）,服务整合平台（ESB）,业务系统,业务系统可以通过DIH、ESB、BPM三条总线分别从数据、服务、流程三个层次与主数据平台的批量、实时、流程接口进行全面集成,批量数据,实时服务,业务流程,Web ServicesMQSeriesJMSTIBCO webMethodsSAP NetWeaver XIEncyrypted stream,PeoplesoftOracle AppsSiebelSASSAP NetWeaverSAP IDOCSAP BCISAP DMISAP BW,OracleDB2 UDBDB2/400SQL ServerSybaseInformixTeradataODBCFlat FilesWeb Logs,XMLIndustry Formats,Flat FilesFTPComplex FilesTape Formats,ERP,Databases,XML,Flat files,Mainframe,Unstructured Data,Messages,ADABASDatacomDB2IDMSIMSVSAMC-ISAMTape Formats,.PDF.DOC.XLSEmail,Cloud Apps,EDI,DI Developer,数据集成业界最好的数据集成平台,MDM,服务集成业界标准接口方式,通过SOA服务方式，将MDM信息服务化，供不同应用使用不同粒度的API服务自动生成 提供SIF SDK,工作流集成,Exit,Task 1,Start,Task 2,CRM/ERP,Task 3,MDM,CRM/ERP,数据管理员,数据发布,Informatica MDM 内嵌任务管理功能Informatica MDM 内嵌简单审批流程利用第三方工作流引擎可以：获得/修改任务状态通过WS查询/修改主数据实现复杂审批流程,安全访问管理(SAM)实现访问控制,SAM采用基于角色的访问控制框架资源，描述所有可访问的对象每一个资源都有多种访问权限一个角色可以具备对不同资源的不同权限一个用户可与被授予一个或多个角色,安全控制,清洗/匹配/信任,交叉参考,层次关系,流程管理,Hub Server(Services Integration Framework),消费层,分析应用.,操作型应用,Data Warehouse,BI,Data Director,业务系统/数据来源,管理层,应用逻辑层Application ServerOracle WebLogic,IBM WebSphere,jBossOperating SystemsAIX,HP-UX,Linux(SUSE&Red Hat),Solaris,Windows,数据层RDBMS/DI/DQOracle 9i,10g,11gDB2 UDBPWC,IDQOperating SystemsAIX,HP-UX,Linux,Solaris.Windows,XML,WebServices,EJB,内部业务系统,外部数据来源,ETL,SQL,相关企业,Informatica MDM 架构和平台支持,数据管理员,历史审计,集成服务(WS/JMS/SQL),协同办公,财务管理,综合管理,营销管理,人力资源管理,资产管理,主数据模型,元数据模型,中心数据库,系统管理,系统设计,数据管理,协同办公,财务管理,综合管理,营销管理,人力资源管理,资产管理,整合模式不是绝对的四种模式，可以根据业务搭配和演进,Single Domain(customer),Multiple Domains(customer,product,vendors,account,location,),Recognize,Recognize&Resolve,Relate,Create,Registry为查询应用构建主数据“视图”,所以数据的新增、修改、删除都在业务系统完成从各业务系统抽取数据到MDM查询的时候根据匹配规则搜索相似记录为查询者生成“黄金记录”视图，但不合并相似记录因为MDM不进行数据“写”操作，所以没有数据回写到业务系统,54,王斌|男|1972.3.8,王彬|NA|19720308,王斌|男|1972.3.8,王斌|01|1972.8.3,王彬|男|1972.3.8-王斌|男|1972.3.8王彬|NA|19720308王斌|男|1972.3.8王斌|01|1972.8.3,查询“王彬”,Consolidation面向分析系统的单流向主数据整合,所以数据的新增、修改、删除都在业务系统完成从各业务系统抽取数据到MDMMDM根据规程清洗，查重，合并，生成“黄金记录”和映射关系主数据用于查询和数据仓库等分析型应用因为MDM不进行数据“写”操作，所以没有数据回写到业务系统,55,王斌|男|1972.3.8,王彬|NA|19720308,王斌|男|1972.3.8,王斌|01|1972.8.3,王彬|男|1972.3.8-王斌|男|1972.3.8王彬|NA|19720308王斌|男|1972.3.8王斌|01|1972.8.3,查询“王彬”,Customer,Contract,Payment,DW,Coexistence主数据在业务系统与MDM中一致共存,业务系统和MDM都可以对主数据进行增、删、改、查等操作数据变化同步(通过抽取、服务、或者异步消息)到MDMMDM更新主数据，并将数据变化同步到其他业务系统或数据仓库，保持数据一致业务系统根据自身需求和特点，采用不同的方式处理从MDM同步过来的数据主数据用于查询和数据仓库等分析型应用,56,王斌|男|1972.3.8,王彬|NA|19720308,王斌|男|1972.3.8,王斌|01|1972.8.3,王彬|男|1972.3.8-王斌|男|1972.3.8王彬|NA|19720308王斌|男|1972.3.8王斌|01|1972.8.3,查询“王彬”,Customer,Contract,Payment,DW,修改“生日”,王斌|男|1971.7.4,王斌|男|1971.7.4,王彬|男|1971.7.4,写入业务数据库,调用业务服务,写入映射表,Transactional统一在MDM维护主数据,最严格的控制业务系统都通过MDM主数据进行增、删、改、查等所有操作只有MDM存放主数据变通的办法业务系统都通过MDM主数据进行增、删、改等维护操作，数据同步给需要的业务系统保留主数据的业务系统，可以查询自己的主数据，其他系统直接查询MDM,57,王彬|男|1972.3.8,王彬|男|1972.3.8-(只有一份数据拷贝),通过MDM查询“王彬”,Customer,Contract,Payment,DW,修改“生日”,王彬|男|1971.7.4,王彬|男|1971.7.4,同步给保留主数据的系统,王彬|男|1972.3.8,王彬|男|1971.7.4,在本地数据库查询“王彬”,内容提要,从公司治理到主数据管理主数据平台解决方案Informatica 案例分享,为全球多个行业的客户提供主数据解决方案,High Tech,Health&Life Sciences,Banking,Insurance,Oil&Gas,Publishing,Automotive,Media,CPG,Manufacturing,Business-userFocused,Aviation,Agriculture,Waste Management,Retail,国内案例1：XX集团主数据管理面临的挑战和目标,挑战集团共性系统之间主数据管理彼此孤立不同系统的不同视角，导致数据一致性问题突出主数据共享困难，点对点传输是主数据问题更为突出组织架构主数据来源多，情况复杂目标制定XX集团主数据管理的策略制定XX集团主数据平台的技术标准和功能范围搭建XX集团组织主数据平台,整体架构集团总部与 SBU/BU两级主数据平台,第一阶段：制定主数据管理规范,第二阶段：搭建集团组织主数据平台,项目启动准备,现状调研与分析,主数据管理规范,组织主数据技术与集成标准,组织主数据平台概要设计,组织主数据收集与清理,详细设计,配置开发,集成测试,单元测试,系统上线,运维支持,项目进展,用户培训,一期项目计划,集团共性系统,主数据源,Informatica MDM 平台,主数据管理,PowerCenter Server(ETL),整体架构说明,Oracle Database 10.2.4,InformaticaData Quality,InformaticaMDM Hub,Informatica 9,数据质量管理/主数据管理,主数据分析报告,数据质量报告,公司层次管理,SIS,HFM,FMS,TMS,TIS,6SCS,HR,主数据展现（1）,用户可以通过Informatica MDM Director来管理主数据以及查看层级关系。多种组织结构展现形式，适应与不同的关系类型展现。,公司详细数据,树状结构,层次结构,选择Informatica MDM的原因,Informatica 平台完全符合XX集团建立集团共性的主数据管理平台的需求通过Informatica PowerCenter实现主数据平台与各业务系统之间的数据抽取、数据更新和数据推送。通过Informatica Data Quality实现主数据的数据探查、数据匹配与比对，进行差异数据分析；通过Informatica MDM平台实现主数据的展现，控制，审计，管理等功能Informatica MDM平台可以扩展至其它主数据的业务需求可从目前组织机构主数据入手，扩展至未来的其它领域主数据需求；从组织机构的数据质量规范开始，建立企业级的数据质量管理控制平台；实现企业级的数据集成,数据资源管理平台,南方电网覆盖五省区、紧密联接港澳，并与周边国家和地区多点相连。供电面积100万平方公里，供电人口2.3亿人，供电客户6700万户。2012年全网统调最高负荷1.2亿千瓦，全社会用电量8396亿千瓦时。,目标与挑战完善数据资源管理的关键是主数据管理,数据资源管理组织及认责体系不完善数据资源管理的流程不完整数据资源管理的技术支撑不足数据标准及数据规划落地执行力度不够,企业目标：建成经营型、服务型、一体化、国内领先、国际知名的企业但是，数据已经成为公司生产运行和经营管理中的一个短板，这个问题不解决，企业的战略就无法落地，主要表现在：,国内案例2：国内某集团企业组件架构,案例2：系统集成关系,主数据域与模型,系统资源、资产设备、用电客户、拓扑连接、量测资源、公共支持等六大类,70,主数据查询列表展示界面，可按主数据不同属性进行查询和搜索条件定制,按职能域分类整理主数据对象主数据对象,按主数据不同属性进行查询和搜索条件定制,根据输入的查询条件查询出的结果列表,界面开发示例数据查询,主数据360视图展示界面，实现主数据及其关联对象的全景展现,360视图以主数据基本信息和打印视图两种视图进行展现数据,数据对象的主键信息,数据对象详细信息,数据对象历史数据,数据对象审计信息,数据对象的子对象信息,界面开发示例数据管理,主数据历史版本展示界面,历史数据展示,界面开发示例数据历史,建立“五横四纵”的数据治理框架，实现管理创新保障数据的唯一性与可信性轻松、全面的数据模型开发节约成本、提高效率完整客户视图解决部门间业务和数据交叉问题,客户收益,为什么选择Informatica,灵活的模型支持快速配置的业务规则易于二次开发应对业务变化,谢 谢！,