EDA数据质量工作汇报江西电信.ppt
数据质量工作汇报,江西电信企业信息化部2010年7月,目 录,2,江西电信企业信息化部,江西电信企业信息化部,3,数据质量管理历程(CRM-计费主产品一致性)2007年5月 93.23%2007年10月 98.732008年10月 99.94%2009年12月 99.985%2010年6月 99.998%,数据质量历程,企业数据管理,江西电信企业信息化部,4,数据考核,江西电信企业信息化部,5,目 录,6,江西电信企业信息化部,数据管理的五大内容,江西电信企业信息化部,7,将端到端收入稽核融入江西电信数据TOP管理，极大提升工作的推进力度,围绕“五性”开展工作，构筑数据应用完整体系。,主产品,提升数据一致性关键指标,江西电信企业信息化部,8,CRM与平台-目标99.95%,CRM与计费,固网与平台,窄带宽带VPDN速率彩铃预付费,移动与平台,与HLR的后付费与OCS的预付费与AAA平台鉴权数据与AN-AAA平台的EVDO彩铃与综合VPN,主产品属性,主产品,附属产品,产品相关,根据数据的重要程度以及流程中可能存在的问题定位出影响数据一致性的关键指标。,城乡标识用户属性产品标志付费模式,来显彩铃,销售品定价,目标99.95%,目标99.99%,提升数据一致性业务流程,江西电信企业信息化部,9,省公司信息化部牵头、推动工作完成,提升数据一致性数据修改工单流程,以清理彩铃平台数据为例描述工单流转过程。,江西电信企业信息化部,10,需求人提需求,接口人送审批,网支审批,接口人派单,彩铃平台修改数据,接口人确认,需求人验收,结束工单,接口人判断是否送审批，送哪个部门审批。,接口人根据需求内容将工单派发给相关系统或平台。,验收不通过,主管部门对工单内容进行审批。,提升数据一致性相关文件,江西电信企业信息化部,11,规范化的流程管理保证了数据一致性清理工作有条不紊的进行。,比对结果处理方案中明确了对差异结果数据的清理方法，有效指导实际操作。,目 录,12,江西电信企业信息化部,企业数据质量管理系统,功能框架,任务配置定义,质量分析报告,数据采集,稽核过程管控,数据同步,稽核计划管理,同步处理,同步规则,稽核结果报告,创建计划,待审核计划,数据采集管控,数据预处理管控,数据比对管控,规则比对稽核,命令脚本稽核,存储过程稽核,异常数据报告,数据修正考核,在执行计划,13,江西电信企业信息化部,已完成计划,数据同步管控,数据同步报告,数据预处理,预处理规则,差异确认,一致性准确性完整性,系统管理,用户管理,日志管理,统计分析,监控告警,数据比对,数据校验,采集计划,数据提取,解析、过滤校验、规整合并,比对方式,比对周期,稽核计划管理,江西电信企业信息化部,14,一致性准确性完整性,数据采集,江西电信企业信息化部,15,采集计划管理,采集计划管理是把采集请求的信息如采集的范围、时间等进行管理。,数据提取是根据采集的范围以及时间向MBOSS或网元业务平台提取数据。有批量采集和单个采集。,数据校验,数据校验是对从MBOSS或网元业务平台提取出来的数据进行文件名称、文件大小、采集点等完整性的校验。,数据采集根据采集请求，向IT系统或网元提取原始数据,数据的完整性校验。,数据预处理,江西电信企业信息化部,16,数据解析,提取原始数据集中的有效信息，并根据编码规则对其统一编码，经过解析后的数据为标准格式数据。,数据过滤,过滤是删除标准格式数据中无用或重复的数据。,数据校验,数据归整,对经过过滤、校验的数据进行归整，输出为标准数据。,根据校验规则对数据的有效性进行判断,数据合并,数据合并是对经过检验、归整的不同网元平台或IT系统的数据进行合并，输出为可比对的标准格式数据,数据预处理是对采集到的原始数据集进行解析、过滤、校验以及修复等处理的过程，处理后的数据为符合编码规则、可直接用于数据比对的标准格式数据。,数据比对,江西电信企业信息化部,17,采用规则库配置，实现数据比对,数据比对根据比对方式和比对周期，对提供的标准化数据进行两两比对,查找数据双方的差异。,采用存储过程，实现数据比对,采用命令脚本，实现数据比对,立即开始数据比对,设定某个时间，进行数据比对,设定某个周期性时间点，如每月1号，进行数据比对,数据同步-1,江西电信企业信息化部,18,数据同步-2,江西电信企业信息化部,19,CRM有其它无：以CRM系统数据为准，利用数据质量管理系统的数据同步功能进行同步，同步目标包括计费等外围IT系统、业务平台以及网元，无则增加，有则覆盖。CRM无其它有:交由人工干预，如果确认需要CRM增加、删除、修改，则利用数据质量管理系统的数据同步功能进行同步，同步包括计费等外围IT系统、业务平台及网元。,数据一致性,数据一致性范围,江西电信企业信息化部,20,目 录,21,江西电信企业信息化部,运营效果移动业务一次性开通,江西电信企业信息化部,22,2009年6月统计数据（系统上线使用3个月）,0.2%,0.14%,运营效果-收入挽回与服务提升,江西电信企业信息化部,23,收入挽回数量宽带拆机1863彩铃拆除47055宽带速率下调1227计费补录1505HLR拆机2144VPDN拆机132避免投诉数量彩铃等业务平台补录4815移动网元补录5232宽带速率提高5381计费拆机189预付费补录351,目 录,24,江西电信企业信息化部,形成长效工作机制的保证,江西电信企业信息化部,25,基础管理,支撑队伍：形成省、市两级互动，专岗支撑的数据质量稽核、清理队伍。管理流程：建立数据比对规则、处理流程、问题收集、通报机制系统支撑：以CRM为核心的数据质量比对系统。,领导重视,省公司领导重视：省公司领导高度重视，2009年成立数据管理能力提升TOP，2010年成立数据应用能力提升TOP。纳入分公司领导考核：数据管理纳入分公司领导KPI考核，有助实现长效推进。,集团要求,收入保障：以集团收入保障数据稽核实施规范为指引，系统建设、业务运营规范化；KQI考核：进一步强化省公司数据质量工作,系统支撑力度不断提升,江西电信企业信息化部,26,实现固网比对，及BSS中CRM、计费数据质量管理ODS中做为模块实现,实现C网比对，包括所有CRM与移动网元业务平台的比对为快速响应全业务支撑的需要，独立建设数据质量管理系统,实现MBOSS、网元、业务平台的一致性、准确性、完整性、及时性、安全性的全面数据质量管理演进成融合所有数据质量管理的企业数据质量管理系统,ODS模块 数据质量管理系统 企业数据质量管理系统,谢谢!,MajpjMVcyzj21HLfrvy96dv02lPPfYgxUS7IYmZkyEmZ0kGeYZS3bpLCkYH1lt4EK7CxmUX3ijoYSOer7ZuaVWYgz4EpZrUirVpMzzvNtf1XZw5oswSXOtFaejnOcmfE1lZgnN1RSXg8wLCG8CVQ3XPJMvodPFWcpiYJgZazNSEPNIaklYSu7qSd1UpaxmZDlpN9zW7kljfsLCLi26Yv109ffbnDH8LbUN1G6ACURQ39eG12KHL9tXsZ1jzgoCK8g1kuNOh5eFvcmVT5ZYVQt9zk3rp3qLnf02FovEXxVRxjCcFRNppiJljNiOuk6fONnyX7fyGg7sXZ49BmCN5oy9VesHpKzdjTKwjrkCEQCFDehVmGax3lrOEbw63VscA3YSijtUKoCyiLzAlVRp7l4QgPNHxvJFFDyjUVN3oHlMah0XBd4uTbkfPIhHtw0evPmYOrdhEDoPwvYhzlGplU1AU9mpyiCXH8gpPCBRYjq77VcnbXumNE1yGfyTsbSj89J63kRTKDkKUg3mdS5sJ4X5cQ8dK7oW9IkScssECQdz2O9UTlpRjAFPChjhLdzopQzwxQf8ozdzOhogwAooXpUF83BX4C3jRgjDJiiXEUDMaNz4vQ4n164vspddHvOIVuBBdMA4xp1YhiHk0vOJ8TL1BxogzVlMpmod6ianYGmksQq6NWCEd56hZF4wfaNyZcrGfNxnPiG6ZAxSkfmhJAKtNmCqbRmppeXp8inz4eq3HkWCMSORyMMX522xpHG6basNr6KQfbZsFbHjzyNlJrruLolKFcC84dqfijBO5Dy2NaBcNEBPgQrT12PgpcKx2or2YChN5DPjs80zzdtdAdTKuW4uVv9bbZu3K2SZ2aEhTlIC1UqrIWibkzwHh6p8gLv26zr01mJybfOzFc4T7kQH1IpPwOzMDnAKPLsLrznXGjFNIA9bSWWms6ibKZwQIKrMzalwbFrQJvOP1rPH8rx2KkyYqrtQk5VRwM1HSX,
