数据治理红宝书是怎样炼成的

前言

作为数字经济时代的新型治理范式，数据治理的核心特征是全企业的数据互通、数字化的全面协同与跨部门的流程再造，形成“用数据说话、用数据决策、用数据管理、用数据创新”的治理机制。在目前数字化转型大趋势的推动下，企业数据治理的需求迫在眉睫。为了促进企业有序开展数据治理工作，进一步厘清企业转型升级的主要痛点和关键需求，被称为数据治理红宝书的《数据标准化：企业数据治理基石》于近日出版面世。

本文根据《数据标准化：企业数据治理基石》核心内容提炼总结，希望在数据标准化的理论介绍及实践经验方面，能为众多企业在数据治理的研究和实践中提供参考和指引，以期达到少走弯路，减少探索，打好基础，快速取胜的效果。

总体介绍

以数据为核心的组织数字化转型已形成社会变革的大趋势。积极开展数据治理，释放数据要素潜力，更好地赋能产业和推动数字经济发展，是当前企业尤其是央企和大型集团型企业的重要任务。

数据治理与数据标准化是密不可分的。于数据而言，数据标准就是对数据的命名、定义、结构和取值规范方面的规则和基准。数据标准化是企业或组织对数据的定义、组织、监督和保护进行标准化的过程。在开展数据治理时，数据标准化的制定工作是基础，是数据在统一标准下进行规范管理的保证。

数据标准化主要涉及包括元数据、主数据、数据质量、数据安全、数据架构、数据建模、数据集成、数据仓库、数据存储和操作、文件和内容管理10个方面的工作。涉及的面比较广，专业性也比较强。

面向企业经营过程中的业务需求，数据治理为数据发挥应用价值奠定了良好的基础。而数据标准化对于提高数据的科学性、统一性和规范性，实现数据的高度共享与应用，以及提升企业的数据治理能力具有非常重要的意义。

本书封面总编：6位院士、高校院长，央企高管作序推荐

周建平 中国载人航天工程总设计师、中国工程院院士认为：本书从一个组织的数字化工程视角出发，完整介绍了数据标准体系建设的框架、路线和方法，组织管理者和数据科学技术人员都具有很好的理论学习参考价值和工程实践指导意义。

中国科学院院士梅宏认为：自实施“国家大数据战略”以来，随着我国数字化转型的政策不断落地，我国数字经济正蓬勃发展。其中对数字经济最为重要的数据显得尤为重要，《数据标准化》一书通过结合我国在数字标准领域已有的理论、国家/行业标准，对读者开展数据治理标准化工作具有良好的引导作用，有利于企业对数据进行合理有效的管理，对企业数据价值挖掘具有非常好的指引作用。

南京理工大学校长、中国工程院院士付梦印认为：《数据标准化》是一部通过对数据治理体系的深入分析，梳理从数据治理到数据标准化研究流程，最终形成运数据标准量化评价方法，并结合央企、大型国有企业的实践工程经验、技能技巧总结产出具有可复制应用的工具类专著，值得细细品读。

本书为关于数据系列工程丛书的第二部【新书推荐】数据治理多少事，都付本书中-《数据治理：工业企业数字化转型之道》（文后有福利），全书共为五大篇章，其中第一篇概述了数据标准化建设是企业数据治理的基础，第二篇阐述了企业数据标准化体系架构，第三篇从实战出发，全面阐述数据标准化实施的流程与工作方法，第四篇从不同维度介绍了数据标准化评价方法与流程，第五篇汇集了10个不同行业央企或龙头企业开展数据标准化的案例。以下简要介绍本书各章节的主要内容精华。

第一篇数据标准化是数据治理的基础（为什么）1数据标准化面临的挑战与困难

数据标准是一经制定发布后相对稳定的静态文件，而数据标准化是一项带有系统性、复杂性、困难性、长期性特征的动态管理工作，是对标准的某种程度上的落地。在数据标准管理中，通常数据标准相对好制定，而数据标准落地就困难多了。

国内的数据标准化工作已经发展了很多年，各个行业和组织都在建设自己的数据标准，但取得显著效果的案例并不多。数据标准化难落地是数据资产管理面临的现状，不容回避。企业在数据标准应用中遇到的困难主要表现以下三个方面：

（1）标准跟业务“两层皮”

一是许多数据标准并没有真正落实到管理，也没有体现在实践中；

二是平时将数据标准束之高阁，只有在每年总结汇报或者外部审核时才抛头露面。

（2）标准在实际中是“夹生饭”

一是与企业管理实际脱节，制定标准可操作性较低；

二是管理层、操作层界限不清，无所适从，难以指导信息化。

（3）标准跟IT项目相比“靠边站”

一是标准说起来重要、做起来次要、忙起来不要；

二是标准化管理在“工期紧、任务重”压力下，为项目实施让路，阻碍了企业标准化管理。

之所以会出现这种情况，是初步制定的数据标准本身有问题。有些标准一味地追求先进，向行业领先者看齐，标准大而全，脱离实际的数据情况，导致很难落地。在数据标准化推进过程中主要存在以下几种问题：

1）对建设数据标准的目的不明确，跟业务脱节

某些组织建设数据标准，其目的不是为了统一组织内部的数据口径，指导信息系统建设，提高数据质量，更可信地处理和交换数据，而是为了应付上级和监管机构的检查，因此他们需要的只是一堆标准文件和制度文件，根本就没有执行的计划。

2）对数据标准化的难度和工作量估计不足

数据标准化是一个长期的过程，不是一蹴而就的，应全方位治理。很多企业一上来就说要做数据标准，却不知道数据标准的范围很大，很难以通过一个项目的方式都做完，而是一个持续推进的长期过程。结果是企业越做标准化，遇到的阻力越大，困难就更多，最后自己都没有信心，转而把前期梳理的一堆成果束之高阁。这是最容易出现的问题。

3）缺乏落地的制度和流程保驾护航

数据标准的落地，需要多个系统、业务部门的配合才能完成。如果只梳理出数据标准，但是没有规划具体的落地方案，缺乏技术、业务部门、系统开发商的支持，尤其是缺乏领导层的支持，是无论如何也不可能落地的。

4）组织管理水平不足甚至缺失

数据标准落地的长期性、复杂性、系统性特点，决定了推动落地组织机构的管理能力必须保持在很高的水平线上，且架构必须持续稳定，才能有序地不断推进。

5）缺乏运营保障，过分依赖外部咨询公司

一些组织没有建设数据标准的能力，因此请咨询公司帮忙规划和执行。一旦咨询公司撤离，组织依然缺乏将这些标准落地的能力和条件。

以上这些问题导致数据标准化工作很难开展，更难取得较好的成效。而数据标准化是一项战略性、长期性、艰巨性、系统性、持续进行的组织内部数据优化治理工作，因此，数据标准化必然是一个漫长而持续的过程，没有一针顶破天的诀窍，也没有立竿见影的途径，唯有企业持续不断、持之以恒、不忘初心、不懈努力，才能达到预期目标。

2数据标准的定义与作用

对数据而言，数据标准（Data Standards）是业务流程中产生的数据的统一定义，即对数据的命名、定义、结构和取值规范方面的规则和基准。此定义是业务对数据项在企业营运环境中的统一业务定义及技术要求，是保障数据内外部使用和交换的一致性和准确性的规范性约束，以达成对数据的业务理解、技术实现的一致。

图 2-2-1 数据标准定义框架

数据标准定义是从元数据管理视角制定的标准，可细分为业务标准、技术标准、管控标准，聚焦在业务属性、技术属性和管理属性三个维度上。其中：

业务标准是描述数据与业务相关联的特性。数据业务标准是对数据业务含义的统一解释及要求。它包括数据的业务含义解释、数据在相关业务环境中产生过程的描述、数据之间的制约关系、数据产生过程中所要遵循的业务规则。如业务定义、业务规则、值域、代码值、代码描述、计算公式、统计口径、统计维度、统计周期等。

技术标准是业务在应用环境中对数据的统一技术要求。技术标准是描述数据与信息技术实现相关联的特性，如数据类型、数据格式、数据长度、数据的缺省值及数据安全需求的等定义。

管理标准是描述了数据标准与数据标准管理相关联的特性，如标准版本、标准有效日期、标准责任部门、标准来源等。

数据标准可以采用不同的形式，具体取决于所描述的内容：关于如何填充字段的要求、控制字段之间关系的规则、可接受和不可接受值的详细文档、格式等。它们通常由数据管理专业人员起草。

结合业务场景来看，数据标准化的核心作用在于实现数据的“五统一”，如下图所示。

图2-2-2  数据标准化实现的“五统一”

（1）名称统一。同一数据实体如果在不同的业务环境下名称不一致，一方面不利于业务的连续性和完整性，另一方面也不利于后续的统计分析。比如在仓库存放有两件同样的物资，如果名称叫法都不一样，则计算机信息系统识别的就是两件不同的物资，这样会影响物资采购计划，可能会造成库存物资积压等影响。

（2）定义统一。不同的业务领域有不同的业务场景，数据所含的业务含义必须与业务场景保持一致，才能保证数据及衍生数据的正确性和准确性。

（3）口径统一。如果对数据的加工口径不一致，则统计出来的数据结果就不一致，无法有效支撑数据层的分析决策。

（4）来源统一。确定唯一且可信的数据源，可以保证基础数据的一致性。同时，源头数据的质量越高，未来构建的数据大厦就越牢固。

（5）参照统一。在企业业务运营过程中，会出现大量不同类型、不同主题、不同结构的数据，为了最大限度的遵循和保障数据的标准，应制定统一的数据管理标准和规章制度。

数据标准化是企业或组织对数据的定义、组织、监督和保护进行标准化的过程，将数据标准向下延伸至信息系统实现层进行技术层面的标准化，打通了上层业务提出的数据规则与系统中具体数据的联系，就是建立一套符合自身实际需求，涵盖定义、操作、应用多层次数据的标准化体系的过程或系列活动。它是一项长期、体系化的工作，需要在各个方面同步推进，而不仅仅是数据层面。

第二篇数据标准化的框架体系（是什么）

数据标准化是数据治理的重要组成部分，但和数据治理一样，也有完整的框架体系。全面的数据标准化体系应包括应用类数据标准、架构类数据标准、基础类数据标准、作业类技术规范，数据标准化保障机制和数据标准化管理工具，数据标准贯穿整个数据生命周期，如下图所示。

图2.1数据标准化体系

（1）作业类技术规范：包括数据采集规范、数据安全规范、数据分类规范、主数据管理规范、数据建模规范、元数据管理规范、数据服务规范、数据共享规范、数据资源申请规范等。作业类技术规范根据作业层面的技术操作和管理要求，对数据标准化的贯彻和执行予以约束。

（2）基础类数据标准：包括业务术语、业务规则、命名规范和代码标准。数据标准化是经营管理和生产运营活动的基础，需要职能管理部门和业务部门负责制定本领域的业务术语、业务规则、命名规范和公共代码标准（或数据字典标准）。创建数据需要业务领域的知识，以确保从数据创建之时开始，组织内部对数据有着一致性的理解。

（3）对象类数据标准：包括数据分类标准、主数据标准、数据元标准、交易数据标准、指标数据标准、标签数据标准和主题数据标准。数据标准化需要明确需要哪些对象及如何被标准化。而对象类数据标准阐述了数据对象的分类，每类数据对象的分类、定义、命名、描述及管理流程或规范。

主数据标准、数据元标准决定了各类交易活动的记录（交易数据或事务数据）被创建的格式及数据质量是否满足企业级的要求。

主题数据（主题库）被存储在数据湖、数据仓库中，来源于不同交易系统（信息化系统），属于同一主题的交易数据集合。

指标数据和标签数据是对交易数据、主题数据统计分析的公式、分析维度和颗粒度、属性维度和颗粒度。

（4）架构类数据标准：包括数据目录、数据模型、数据分布与流向、数据交换、数据服务和元数据标准。

数据标准化需要基于企业级的数据架构，从逻辑层面定义数据的获取和使用。架构类数据标准有以下作用：

描述基于数据对象标准的各类数据对象概念模型、逻辑模型，以及基于业务规则定义的对象之间属性数据元的引用和继承关系；

定义数据共享、数据安全、数据质量的逻辑模型，以支撑数据交换、数据共享及开发；

描述各类数据对象数据分布的数据资源目录、数据资产目录；

支撑上述模型开发实现的元数据标准。

（5）应用类数据标准：指的是在开发及部署信息化数字化应用系统时，需要实现的职能管理、业务管理的流程或功能要求。数据标准化服务于信息化数字化的应用，如大型企业内部常有多个财务核算系统，但均需遵循总部统一制定的财务核算手册。尽管不同行业、不同企业的信息化数字化应用存在差异，但均需要基于统一的企业级数据架构、对象类数据标准和基础类数据标准。由此可见，数据标准化是企业信息化数字化的基础。

（6）数据标准化保障机制：包括数据标准化管理组织和数据标准化制度、认责与绩效、人才培养、数据文化。

数据标准化需要组织层面有执行力的动员和保障。数据标准化保障机制，从组织、制度及工作机制、认责与绩效等方面，对数据标准化予以保障。

（7）数据标准化管理工具：包括数据共享、服务、数据标准、数据目录、数据模型、指标数据、元数据、主数据等管理工具。数据标准化工作需要技术工具的支撑，作业类技术规范需要落实到数据治理及数据资产管理相关软件上，从管理流程和技术落地建立数据标准化的长效机制。

值得说明的是，数据生命周期管理的各个环节都离不开数据标准的支持，如下图所示。

图2.2数据生命周期中的数据标准

数据源产生数据的时候需要遵循业务规则的要求和主数据标准；

数据采集的时候需要遵循数据元标准、元数据标准、数据采集规范等；

数据存储的时候需要遵循数据分类标准、业务规则、命名规范等标准；

数据加工的时候需要遵循数据建模规范、数据模型标准、ETL作业规范等；

数据应用的时候需要遵循数据目录标准、数据分布流向、数据标签规范等；

数据归档的时候需要遵循数据归档规范；

数据销毁的时候需要遵循数据退役规范。

第三篇数据标准化实施流程与方法（怎么做）

数据标准管理不但要解决好标准的制定和发布问题，更要解决标准如何落地（这是更重要的，也是更困难的）。企业做好标准体系规划、完成了各项标准的制定只是实现了数据标准管理的第一步，持续地贯标、落标，真正将各项标准应用于数据管理实践并充分发挥作用才是决定成功的关键。为了确保有效落标，除了组织推动、强化管理，还应遵循科学的工作流程，采用合理的技术手段和技术工具，真正实现科学落标、技术落标。

在构建数据标准化体系过程中，既要做好组织、人员和制度流程方面的准备，又要做好统筹规划和整体实施方案设计，确定好总体目标、阶段目标和实施路线图。同时企业要采取科学合理的实施方法，并配备相应技术平台及工具，持续、有效地推进各个阶段的工作任务直至目标达成。

企业数据标准化实施一般分四个阶段，如下图所示。

图3.1企业数据标准化实施阶段

第一阶段：数据盘点与评估

数据盘点与评估工作包括以下内容：

通过现状调研和需求收集充分了解数据标准化的现状和诉求；

通过数据资源盘点理清存量数据标准化的状况和问题；

结合数据评估和对标成功实践确定数据标准化的基线和目标，为数据标准化实施提供依据。

第二阶段：建立保障机制

建立保障机制工作包括以下内容：

建立数据标准化组织体系和认责流程，为数据标准化提供组织保障；

建立数据标准化制度规范，为数据标准化提供制度支撑；

加强人才培养和配置，为数据标准化提供人资和能力保障；

推进数据文化建设，为数据标准化营造良好的环境和氛围。

第三阶段：数据标准化实施

数据标准化实施包括以下内容：

建设技术平台和工具，为数据标准化实施落地提供技术支撑；

针对数据标准化各个关键域逐一开展专项实施，确保各项关键目标落地。

第四阶段：数据价值实现

数据标准化是企业数据治理的关键基础保障，也是数据治理的重要抓手，利用数据标准化驱动好企业数据治理，持续推动数据治理的成果落地、实现数据价值，才是企业开展数据标准化工作的终极目的。

1数据标准化保障机制

包括数据标准化落地在内的数据资产管理是一项长期性的、体系化的工作，为保证各项数据资产管理活动有效开展，统筹推动数据资产管理工作顺利进行，关于组织、制度、认责机制、人才培养、数据文化等方面的保障机制和措施变得极为重要，是标准化落地的条件和基础。

企业的数据标准化保障机制里面包括组织、制度、认责机制、绩效评估、人才培养、数据文化这些内容，总体架构如下图所示。

图8-1-1  数据标准化保障机制架构图

（1）管控组织

数据标准化需要根据企业管理要求、管控定位、管理模式及业务特征等因素，在企业内部组织资源、搭建流程、开展业务、实施落地的管理活动，通过构建数据标准化专业团队或人员，以及专业职责分工、跨域协同联动，形成顺畅的沟通、协商、合作机制。

组织设计应满足职能覆盖、高效协同、引领创新的要求，并与企业整体业务、组织、管理模式升级发展相匹配，分工明确，各司其职，强化数据标准化各项工作的落地执行及跟踪监督。

（2）制度规范

企业对数据资产管理体系工作进行标准化管理，需要制定有关数据标准规定，为包含数据标准管理在内的各项工作提供规则、指南、权威定义或标准规（包括数据资产全生命周期管理各项职能活动，以及对组织内各项数据资产制定标准规范的相关管理办法、管理规范、流程规范、维护细则、操作手册、技术规范等制度性文件）。

（3）认责机制与绩效评估

数据标准化需要依据原则制定有效的认责流程、有明确的认责分工、确定数据绩效评估规则、绩效评估的步骤和流程等。

在组织内，标准规范的制定、贯彻和管理都需要有明确的责任人，责任人对这些工作有相应的权责安排，指导管理者有效掌控数据资产全生命周期管理各项具体执行工作，激发推行数据标准化的有关责任人的主观能动性。

（4）人才培养

企业要进行数据标准化，就需要建立包括培训体系、人才评估体系在内的能力培育与建设体系，明确数据人才的知识和能力结构要求及专业人才培养计划。

（5）数据文化

在企业内要持续推进数据文化建设，加强数据文化理念和案例宣传，提升企业各级管理人员数据思维，构建数据话语环境，将数据融入组织各级部门和各业务单元的运营模式、思维方式中，在企业中营造良好的数据文化氛围。

2技术平台和工具

数据标准化实施和管理涉及复杂的管理流程、组织协同的技术作业，因此，需要依靠相应的技术平台和工具支撑数据标准化管理工作。对企业来说，数据标准化平台工具可作为数据治理平台工具组成部分，与数据治理平台统筹规划、统一建设实施。

数据标准化管理工具的能力构成一般包含数据地图、主数据管理、数据指标管理、元数据管理、数据模型工具、数据交换与服务工具、数据资产管理、数据开发、数据质量管理、数据安全、数据成本管理等部分。

通过对数据的采集、清洗、建模、加工直至应用的全生命周期的管控和保障，可以确保数据的高质量、低成本、安全性，以及开发过程的高效能。数据标准化管理工具是基于PaaS平台的一体化智能全域的数据治理平台（如下图所示）的一部分工具集。（这里不再具体介绍数据治理平台工具，可参考《【新书推荐】数据治理多少事，都付本书中-《数据治理：工业企业数字化转型之道》（文后有福利）》一书里面内容）

基于PaaS平台的一体化智能全域的数据治理平台

3数据标准化关键域实施

数据标准化实施对于企业来说是一个复杂的系统工程，要有效开展这项工作，首先要建立配套的组织体系和制度体系，为数据标准化工作提供强有力的基础保障。其次是抓好人才培养和文化宣贯，为数据标准化工作持续推进提供人才和文化氛围保障。在此基础上，开展数据标准化现状调研、分析和数据资源盘点工作，摸清家底、定好基线，同时根据数据标准化的需求和管理诉求，确定好工作目标。

在具体实施层面，企业要根据自身的实际情况，围绕数据标准化工作目标确定好数据标准化工作实施的范围、内容，并制定订切实可行的计划，要有步骤、有计划开展各项实施工作。同时，要积极采用技术平台和技术工具，借助于科学的方法论，聚焦关键领域有效推进各专项目标的达成，才能取得好的实施效果。

本书着重介绍了企业数据标准化包括标准管理、数据分类、数据分级、主数据管理、数据指标管理、元数据管理、数据元及数据实体设计标准等七大关键领域。

以元数据管理实施为例，该章节详解说明了元数据实施流程，包括需求分析、规划设计、工具实施、持续运维4个大的阶段；元数据关键实施步骤，并对其中关键步骤进行详细阐述，如下图所示；然后从技术和管理两个方面分析了元数据管理的难点；最后提出了元数据实施风险规避建议，为企业开展元数据标准化实施提供参考和借鉴。

限于本文篇幅，数据标准化七大关键域的实施方法详见本书第11章，欢迎读者朋友细读自己感兴趣的章节内容。

第四篇 数据标准化体系的量化评价（做成什么样）

为确保企业数据标准建设实现落地可用，并保证数据标准在不同部门的可获取性及一致性，进而保障数据的质量、安全和可靠性等，在企业开展数据标准化后，要对数据标准化工作进行客观审视和评价。

评价工作要基于数据治理体系，应用数据管理能力成熟度评估模型，遵循一定的评价原则，覆盖整个数据标准工作的对象与内容，形成一套完整评价体系方法。

根据数据标准体系参考评价模型，数据标准成熟度评价聚焦在标准化保障机制、标准建设、技术规范、数据安全、标准化支撑工具及应用成效等维度，覆盖数据标准的建标、贯标及核标等工作。

标准化保障机制评价：涉及标准化组织、标准化制度、认责与绩效、人才培养及数据文化建设等评价。其中，标准化组织及制度是标准化保障的基础；

标准建设评价：包含数据标准制定、数据标准发布及数据标准应用评价。其中标准覆盖应用类标准、架构类标准、对象类数据标准及基础数据类标准；

技术规范评价：技术规范评价主要是针对作业类技术规范的评价。包含数据采集规范、数据建设规范、数据运营及数据安全规范等；

数据安全：遵循数据安全DSMM模型，进行包含数据采集、数据存储、数据加工、数据应用、数据归档及数据销毁等数据全生命周期的安全评价；

标准化支撑工具：主要指相对应的数据标准化管理工具，如：数据模型、数据目录、数据标准、主数据、数据指标、元数据、数据交换、数据服务等。

数据标准成熟度评价表

标准化保障机制	标准化组织	数据标准组织设置
		数据标准组织认责
		数据标准组织沟通
	标准制度	数据标准制度框架
		数据标准制度制定过程
		数据标准制度内容
		数据标准制度宣贯
		数据标准制度执行
标准建设	制定数据标准
	发布数据标准
	应用数据标准
应用成效	数据标准应用状况
	存量系统数据标准应用
标准化支撑工具	数据模型、数据标准、数据目录、主数据、数据指标、元数据、数据标签、数据共享与服务等；	这些工具建设功能和工具应用情况