中国移动NG1-BASS2‘0规范-数据质量管理分册(1).ppt
中国移动省级NG1-BASS2.0规范培训-数据质量管理子系统分册2023年2月9日星期四,目 录,本期规范修订目的,增强功能,加强管理,完善数据质量监控检查，提高数据质量监控水平增强数据质量对外服务能力，充分利用数据质量信息完善数据质量知识库，提高数据质量知识库的应用能力建设数据质量评估功能，发现数据质量潜在问题及问题的发生规律,明确数据质量问题处理相关机构与角色，完善数据质量问题处理流程，保证数据质量问题能够及时有效地得到解决 完善关键指标波动告警处理流程，提高数据质量告警处理能力,目 录,数据质量管理子系统功能结构,本期新增内容,本期加强内容,数据质量管理子系统技术结构,本期新增内容,本期加强内容,数据质量管理子系统与其它模块交互,基于元数据，元数据库存储检查对象、检查规则等,检查规则-规则引擎问题流转-工作流引擎,与经营分析门户的交互：数据质量信息查询及数据质量问题交互,调用信息推送接口发送SMS与EMAIL信息,数据质量管理子系统,数据质量基于元数据。在元数据库中存储检查对象、检查规则等,与经营分析门户的交互：数据质量信息查询及数据质量问题交互,目 录,数据质量管理子系统功能（1）,数据质量监控,数据采集：采集经营分析系统数据处理状态，作为监控检查的输入监控检查：从元数据库中读取检查规则及检查对象，输出检查结果监控报告：根据检查结果，生成不同级别的报告（如通知或告警）规则配置：配置采集规则、检查规则、告警规则和告警订阅规则,数据质量问题处理,问题生成：数据质量监控发现的问题、数据质量评估发现的问题和业务人员发现的数据质量问题问题分析：利用数据质量拓扑图、元数据分析工具和数据质量知识库对问题进行分析及定位问题处理：制定问题的解决方案及时有效地解决数据质量问题问题总结：对单一问题的总结、对阶段问题的总结，总结产生数据质量知识,数据质量管理子系统功能（2）,数据质量评估,数据质量问题状态评估：对一个阶段内的数据质量问题汇总与梳理，发现数据质量问题发生的规律数据源接口质量评估：评估一个阶段内的数据源接口质量，提高源系统接口质量指标关联性分析：验证及分析关键指标间的关联性，发现指标波动的变化规律,数据质量知识库,知识的生成：问题总结形成知识、知识评价与协作编辑完善数据质量知识知识的应用：数据质量知识的生成与利用是一个闭环过程，应用于数据质量检查规则的优化,数据质量管理子系统功能（3）,数据质量对外服务,数据质量信息查询：查询某一对象在某个时间段的数据质量信息；查询某个时间段内的数据质量信息汇总（如在经营分析门户显示的本月数据质量问题汇总信息）数据质量问题交互：经营分析业务人员或运维人员提交数据质量问题及问题反馈等,数据质量监控流程,重新定义了数据质量监控的范围包括采集、检查以及报告三个环节增加人工报告作为数据质量问题的来源之一修改原先关于运行状况信息库的描述，改为数据质量监控信息库，作为数据质量评估的基础。,新增关键指标加权波动检查,应用场景：设A指标11月份的波动情况如下表所示：,从指标的基础检查上来看，指标数值检查和环比波动是正常的，但同比波动率的检查是异常的，通过加权波动检查得出A指标加权波动值为0.8，在预设阈值上下限之间，是正常的。分析其原因，应该与节假日的影响有关，而不一定是数据质量问题。,指标加权波动检查权组：利用指标基础检查结果，如指标数值、同比波动率、环比波动率等指标的影响因素：业务变更影响、节假日影响、业务竞争影响等适用指标：需从多个角度进行综合检查的指标受多种因素影响或干扰的指标,检查原理：根据单个指标的基础检查结果和影响因素，按预定的加权算法计算得出指标加权波动值，然后把加权波动值与预先设定的阈值进行比较，得出检查结果。,新增指标波动告警处理,指标波动告警处理说明,指标波动告警不一定存在数据质量问题，告警原因有可能：检查规则中的阈值设置不当指标受业务因素影响,指标波动告警类型：指标数值检查告警指标波动率检查告警指标加权波动检查告警,数据质量问题处理,元数据分析工具帮助查找问题根源、分析影响范围；数据质量知识库查找相同或相似问题，提供解决方案供问题处理人员参考。,数据质量监控生成的问题；数据质量评估发现的问题；业务人员或维护人员手工提交的问题。,对单一数据质量问题和阶段性数据质量状况的总结。问题的总结是数据质量问题知识库的重要来源。,数据质量问题生成,元数据和数据质量知识库的应用,问题总结,新增数据质量评估功能,数据质量问题状况评估对数据质量问题及其处理情况进行阶段性汇总与总结，评估报告应包含数据质量问题汇总、关键指标异常信息汇总以及问题处理情况汇总等内容。指标关联性分析从业务上对相关指标进行分组，并对关联指标组内的指标历史数据进行分析，以确认这些数据是否满足业务上的关联关系要求。指标相关级别分为密切相关，近似相关以及不相关。数据质量接口质量评估通过在元数据管理模块中配置的数据源接口质量评估规则，对数据源接口质量进行定期考核。数据源接口质量评估规则是指：根据数据源接口质量问题各指标对经营分析系统数据质量影响程度的不同，在元数据管理模块中定义各指标对应的评分规则。,数据质量评估管理流程,增强数据质量知识库的应用（1）,数据质量知识产生与应用闭环,数据质量知识库,数据质量知识库属于经营分析系统知识库的一部分。数据质量知识内容可以由三部分组成：检查规则、数据质量问题以及解决方案。,增强数据质量知识库的应用（2）,应用于检查规则的优化,数据质量知识应用于检查规则原理：数据质量知识的内容组成由检查规则、数据质量问题和问题解决方案组成数据质量问题可关联到检查对象数据质量知识数据是结构化的,新增数据质量对外服务功能,数据质量信息查询,数据质量问题交互,A指标本月是否存在数据质量问题？,本月数据源接口有多少数据质量问题？,B指标波动异常，存在数据质量问题？,短信话单接口修改完毕，可正常抽取。,其它数据质量信息查询,其它问题提交、问题反馈,数据质量管理子系统（内部）,数据质量对外服务接口采用界面嵌入方式，即把相关功能界面通过Portlet和Iframe等方式嵌入到经营分析门户中。,数据质量需求变更控制流程,谢谢！,
