数据质量通常表现为一组具体的流程和技术,用于识别和修正数据中的错误以支持业务运行及决策支持。在银行实际中数据质量管理的应用场景主要包括数据分析挖掘、
数据标准化管理、系统建设以及系统运维(图1)等。基于上述四个典型的应用场景,本文重点讨论数据质量管理的流程方法,从需求管理和日常机制两个维度讨论数据质量处理标准过程,数据需求对应信息系统建设以及能够转化为项目形式的数据应用需求,日常机制对应数据质量问题的常规处理机制。
图1 数据质量需求来源
数据需求是信息系统建设需求管理的重要部分,无论是业务角度还是技术角度,数据质量需求都是数据需求中的必备要求。数据质量需求主要有两个来源,分别对应于业务发展和数据管理的原因,前者对应数据应用角度的要求,后者对应企业数据管理目标。业务需求包括常规的系统改造或建设需求,以及数据服务、数据分析、数据挖掘等数据应用性需求。数据需求中应该包括数据质量规则方面的要求,数据需求来源于信息系统常规性需求,以及数据应用相关的需求。
数据质量问题是指数据不满足业务运行、管理与决策的程度,其衡量标准包括了多方面的含义。清晰的定义必然包括多个基本属性,或者说元数据单元。数据质量需求涉及范围和影响程度不一,较小的需求以单系统数据项修改为代表,处理方式简单直接;较大的需求以跨系统数据不一致为代表,剖析根源甚至包括业务规则的调整。数据质量需求对应的问题及原因在数据生命周期中会包括定义、产生、加工、整合、应用等过程,覆盖源系统、
数据仓库、
数据集市。
(部分内容来源网络,如有侵权请联系删除)