加强数据质量治理筑牢金融创新发展的“数字底座”.docx

加强数据质量治理，筑牢金融创新发展的“数字底座”数字化时代，数据作为生产要素已成为推动经济社会发展及转型的新动能，数据质量已成为影响数据要素发挥价值的重要因素。在银行等金融机构数字化转型推进过程中，数据已经渗透到业务的方方面面。本文以金融领域为例，围绕海量数据资产，结合工商银行实践，阐述如何从战略、机制、策略和工具四个方面提升数据质量，助力数据资产发挥价值。一、数据质量治理背景与挑战1 .数据要素成为金融创新的核心关键2020年4月，中共中央、国务院公布的关于构建更加完善的要素市场化配置体制机制的意见提出加快培育数据要素市场，并明确要加强数据资源整合和安全保护，探索建立统一规范的数据管理制度，提高数据质量和规范性。数据已经成为国家基础性战略资源。与此同时，随着金融科技的不断发展，金融产品的不断创新，金融业务进一步呈现出全流程线上化、全场景虚拟化等特点。无论是营销接触、代客交易、客户服务还是风控管理，数据已经渗透到金融业务的方方面面。金融机构在此过程中所产生的海量数据既是经营发展、业务创新的宝贵积累，也是客户服务品质提升、业务价值创造的不竭源泉，更是决定未来金融机构竞争力的核心关键。2 .金融数据治理监管要求日益提升近年来，人民银行、银保监会陆续出台数据治理相关政策，对金融机构数据质量提出更高要求。2018年5月，银保监会发布银行业金融机构数据治理指引的通知，提出银行业金融机构应当明确数据质量管理目标，建立控制机制，确保数据的真实性、准确性、连续性、完整性和及时性。2021年12月，人民银行印发的金融科技发展规划(20222025年)要求在强化数据能力建设方面建立协调一致、覆盖数据全生命周期的数据治理体系。随着大数据、人工智能等技术的发展，金融监管呈现出全面监管、实时监管、自动监管、穿透监管、精准监管等特征。监管采集数据逐步由监管报表模式向监管明细模式转变，该模式对底层数据的完整性、准确性、标准化、可关联性提出了更高的要求，无疑是对金融机构数据质量治理能力与数字化转型能力的考验。3 .金融数据质量治理面临治存量与控增量并行的挑战数据资产管理协会(DAMA)将数据治理定义为用于衡量或改进数据质量的过程，它是一个持续而渐进的过程。数据质量本身是指数据能够满足人们的隐性或显性期望的程度。随着业务需求的不断增加，人们对数据质量的预期也随之改变。因此，数据质量要求往往很难在数据生产第一环节就考虑全面，数据质量问题也很难在数据使用第一时间被发现,这就造成数据质量管理存在滞后性和被动性。信息化建设较早的金融机构早年已积累了庞大的存量交易类、客户类、日志类等金融数据，当数据质量存在问题而需要进行数据治理时（如基础数据标准不统一、历史信息采集格式未标准管控、早期业务流程控制缺失导致信息不全等），会存在存量治理包袱重的难题。此外，数据质量治理通常涉及跨部门沟通、协调、处理和解决，给治理工作带来诸多困难。而数据资产本身涉及整个企业组织架构中各部门的责权利，如何做实数据质量治理，夯实数据基础，促进数据生产要素发挥创新引擎作用，加快构建以数据为关键要素的数据经济，已成为金融机构数字化转型的关键。二、金融数据质量治理方式数据质量治理是金融机构不容忽视的基础数据建设工作。数据质量的提升需依托数据质量治理战略、数据质量治理机制、数据质量管控策略和数据质量治理平台（即数据质量治理的道、法、术、器），形成数据质量治理“金字塔”模型（如图1所示），自上而下给予指引指导，自下而上提供执行反馈，构建数据质量治理的自我完善能力。治理战略治理机制治理管控治理平台图1数据质量治理“金字塔”模型L金融数据质量治理之道金融机构应以价值创造为目标，从数据战略、组织机制、数据文化等方面全面推进数据质量治理工作。首先，数据战略作为数据质量治理整体工作的“灯塔”，得到金融机构管理层高度重视。金融机构管理层应从全局视角对所涉及的各方面、各层次、各要素进行统筹考虑，协调各种资源和关系，确定数据治理目标。其次，随着金融机构数字化转型的不断推进，传统的层级组织模式在应对市场变化上存在灵活性不足的问题，以数据驱动形成敏捷型治理组织，使各环节都能充分利用数据洞察数据质量，更有利于数据战略的落地。最后，建立共享共治数据质量治理文化，为数据质量提升保驾护航。保障数据质量人人有责，无论是数据生产者、数据所有者，还是数据使用者、数据管理者，都需要对数据质量负责，从不同角度洞察数据质量问题，共同夯实数据基础。2 .金融数据质量治理之法金融机构面对海量数据，建立一套全方位、多层次、敏捷响应的数据质量治理体系是非常有必要的。首先，金融机构可在整体数据战略的指导下，建立健全数据质量管理办法与技术规范，明确数据质量评估维度、数据各生命环节重点守护的质量内容、各部门数据治理的职责分工以及组织协作方式，实现数据质量治理标准化。其次，金融机构要坚持溯源治理，构建多层次数据质量治理机制。溯源治理可以最快速度、最小成本、最大收益提升整体数据质量。金融机构在数字化转型的浪潮中纷纷开展数据湖建设，为贴源数据质量治理提供了绝佳的时机，通过支持数据源、数据中转方、数据使用方从多角度监测数据湖的数据质量，构建数据质量三道防线。最后，建立数据质量评价模型，形成数据质量数字化运营机制，通过模型实时监测大数据资产质量评分，及时发现质量短板，持续提升改善,形成“以数治数”的良性循环。3 .金融数据质量治理之术在操作层面上，金融机构数据质量治理可以采取许多治理策略或举措来保障数据治理工作的有序推进：一是采用治存量、控增量策略，以实现全面数据治理。可基于数据质量问题的根因分析，明确治理方案，建立专项治理任务，在有序推动存量治理的同时，加强数据全生命周期各环节的增量数据质量管控。二是历史数据积累较多、存量数据治理包袱重的金融机构可紧抓监管报送等重点场景，借助外部硬性规定，从数据末端溯源到数据源头，以点带面，大力推动存量历史数据治理，并将外部要求转化为质量标准融入日常数据治理工作中。三是建立数据质量问题线上闭环治理流程，实施动态清零策略。数据质量问题纷繁琐碎，有存量问题也有增量问题，可通过动态清零来实现数据持续净化。该过程需依赖于线上闭环治理流程，全部靠线下流转与管理会对系统建设的其他工作造成很大的影响。4 .金融数据质量治理之器工欲善其事，必先利其器，数据质量治理也是如此。金融机构可以从质量分析、质量监测、问题治理、质量评价等四个方面打造数据质量管理平台。在质量分析方面，依托数据资产管理所盘点的全量资产，利用数据探查、血缘分析等工具，通过数据非空检查、长度检查、字典范围关联检查等方式洞察数据异常。在质量监测方面，基于规则引擎工具,结合外部监管、标准及业务需求，在线提出质量检查规则部署请求，使系统自动将规则部署指令同步到所需检查的数据库，实现质量检查规则灵活部署。在问题治理方面，建立错误数据集，提供数据灵活分析工具，支撑治理用户开展问题根因分析；根据数据质量管理制度，在问题闭环治理流程各环节严格管控治理时效，自动化监测统计问题治理进展并通报风险。在效果评估方面，基于数据质量评价模型的评价结果，可视化展示全部数据资产质量情况，有助于数据质量薄弱处的不断改进，逐渐形成数据质量治理人人有责的治理文化。三、金融数据质量治理实践工商银行积极践行大行责任，在数据质量治理征途上勇于创新、积极实践，稳步建立数据质量治理之道、法、术、器，探索出一套适合金融机构的数据质量治理体系，为全面实现数据要素在生产活动的价值创造夯实基础。工商银行在2021年成为我国首家获得数据管理能力成熟度评估模型(DCMM)5级认证的银行，标志着工商银行数据质量管理能力达到同业领先水平。在“道”的方面，工商银行建立了“自上而下、协调一致”的数据治理体系，明确数据治理中各部门的职责分工，建立部门之间相互协调、有效制衡的运行机制，确保数据治理资源配置，旨在全面提升数据质量，保障信息安全，推行数据治理文化，实现数据要素资源的效益最大化。同时，工商银行围绕数据治理组织架构建立敏捷治理组织，在业务条线、科技条线分别设立跨职能的数据治理团队。团队一方面将数据治理要求渗透到各流程环节中，具有较强的执行力和行动力；另一方面围绕内外部数据质量需求，主动发起专项治理,从不同角度提出数据质量提升建议，具有较强的能动性和灵活性。在“法”的方面，工商银行围绕集团数据治理总体目标,建立健全制度体系，制定规章制度、管理办法、技术规范等,覆盖业务需求提出、系统开发测试、生产与运营等数据全生命周期各环节，对数据定义、数据加工、数据传输和数据应用的质量治理内容和职责分工提出了明确要求。同时，工商银行坚持溯源治理原则，建立三层数据质量治理机制，依托上游系统、数据湖、下游系统，从数据完整性、准确性、一致性等方面建立质量检查规则，对所发现的数据质量问题均进行根因分析，对于源头质量问题由数据源制定治理方案与治理计划。此外，工商银行还建立了数据质量评价模型，从防范广度、防范强度、问题治理及数据准确四个方面对贴源数据进行质量评价，快速定位质量薄弱环节，为质量提升寻求突破口，实现数据质量治理“以数治数”的闭环管理。在“术”的方面，工商银行由于信息系统建设得早，已积累大量的交易、客户、日志等相关数据，存量数据体量庞大。面对内外部数据质量要求越来越高的挑战，工商银行采取了三种策略：一是治存量、控增量，确保各类问题治理呈收敛趋势；二是紧密结合监管数据标准化(EAST)、反洗钱等监管领域数据治理要求，并将其充分融入源系统业务需求、研发流程、技术规范中，经过不同角度打磨，使报送数据质量得到持续提升；三是建立问题闭环管理机制，根据数据使用场景的重要程度，限定问题分析与治理时效，实现动态清零，不放过任何一个数据质量隐患。在“器”的方面，工商银行未雨绸缪，早在十多年前建设数据仓库时，就同步建设了数据质量管理平台。随着从信息化银行向智慧银行建设的持续演进，工商银行构建了数据管理体系，并不断丰富完善数据质量管理平台，该平台现已支持200多个数据源、数据中转方、数据使用方基于数据湖在线部署8万多条质量检查规则，形成数据质量问题线上闭环管理流程，打通部门壁垒，通过数字化运营方式推动重点难点问题的解决，提升数据质量管理水平与治理效率。2022年是工商银行数字化转型的开局之年，也是深入推进“数字工行”建设的关键一年。随着大数据技术的快速发展，数据资产呈现出爆发式增长态势，新形势下，如何在不影响数据要素生产的情况下，确保海量数据的质量得到有序且有效治理，促进数据资产创造业务价值，是金融机构面临的新挑战。在数字化转型的大背景下，数字化运营将渗透到金融机构的每一根“毛细血管”，数据质量治理也不例外。数据治理组织同样可以充分利用数字化运营的成果，通过专家规则、人工智能等方法，强化智能化治理，将自然语言理解、知识图谱或图像识别等技术应用于数据质量治理场景，以数治数,持续提升数据管理水平。