企业数据标准落标方案

一、数据标准概念介绍

数据标准的概念

数据标准是组织内部各个部门、各数据相关人共同使用的一套语言，达成的一个共识，旨在保障数据的内外部使用与交换的一致性和准确性。

数据标准管理不善导致的三大问题

1. 数据共享难以实现：各个系统的数据存储结构不一致，不同数据没有统一标准，无法关联整合和分析，影响不同系统之间的数据共享。

2. 数据名称、标准不规范，语义不清：不同系统对同一种数据有不同的命名、业务含义、取值范围，容易造成同义不同名、同名不同义，让数据使用者产生误解。

3. 数据理解沟通成本高：数据没有统一规范和标准，对于同一数据，不同人员的理解不一致，导致沟通交流成本增加，降低企业组织内部的运转效率。

数据标准规范的三大分类

1. 业务标准规范：包括业务的定义、标准的名称、标准的分类等，可提升业务的规范性，提高工作效率，保障数据含义的一致性，降低沟通成本。

2. 技术标准规范：从技术角度来看待数据标准，包括数据的类型、长度、格式、编码规则等，可大幅度提升工作效率，降低系统的出错率，有助于提升数据质量。

3. 管理标准规范：从管理角度来看待数据标准，包括数据标准的管理者、如何增添和删减、访问标准条件等，可保证数据的完整、准确，为数据安全和经营决策提供支持与保障。数据标准的概念

首先，我们要明白什么是数据标准概念，根据中国通信院的定义：数据标准，是指保障数据的内外部使用与交换的一致性和准确性的规范性约束。

我们可以简单理解，数据标准，就是组织内部各个部门，各个数据相关人，共同使用的一个语言，达成的一个共识。

比如一个部门内部在开会，有人说方言，有人说英语，有人说普通话，大家由于语言不一致，导致沟通费时费力。而如果制定统一的标准，比如统一使用普通话，那么沟通会顺畅很多。

秦始皇统一六国之后，要求国内统一文字，货币，度量衡，本质就是制定社会的标准规范，目的是让社会能够更加高效运转。

所以，对于企业来说，数据标准，为业务运营和管理决策提供相应的保障。如果没有标准，那么企业的运营管理将会混乱不堪。

2.数据标准管理不善导致3大问题

很多组织在发展初期，因为数据量不足，导致数据标准缺乏整体规划，等组织发展壮大，发现各个部门的各个系统由不同厂商和商品搭建，导致数据共享困难，理解歧义，无法有效分析。

组织，通常因为没有制定严格的数据标准，管理不善出现以下3种问题：

（1）数据共享难以实现

由于各个系统的数据存储结构不一致，分布在多个系统的不同数据，没有统一的标准，无法关联整合和分析，影响不同系统之间的数据共享。

比如一家大型企业，老部门使用老的A系统，新部门使用新的B系统，不同系统的存储结构不同，导致数据共享困难。

（2）数据名称，标准不规范，语义不清

没有数据标准，不同系统对同一种数据，有不同的命名，业务含义，取值范围，容易造成同义不同名，同名不同义，让数据使用者产生误解的情况。

比如同一银行的不同网点，有的系统把客户叫做用户，有的把客户叫做客户，有的把客户叫做开卡客户，指的都是同一含义，但因没有数据标准，导致有不同名称，让业务数据统计分析，部门之间沟通理解费时费力。

（3）数据理解沟通成本高

数据没有统一规范和标准，对于同一数据，不同人员的理解不一致，导致沟通交流成本增加，降低企业组织内部的运转效率。

比如同一家公司的北京和武汉业务部门，北京部门把消费金额超过10万的客户设定为vip客户，武汉部门把消费超过5万的设定为vip客户。两个部门对vip客户的理解不一致，也导致总部系统管理分析用户数据混乱，无法对用户进行系统归类运营。

3.数据标准规范3大分类

在企业日常管理和业务发展中，我们一般会从业务，技术，管理维度去分析和拆解数据标准。

（1）业务标准规范

业务标准规范，一般包括业务的定义，标准的名称，标准的分类等。比如企业的CRM系统，要判断客户是否为老客户，我们要通过用户消费金额，消费频率，消费日期等维度做判断，这个维度就是数据判断标准。

对于业务人员而言，数据标准化建设，可以提升业务的规范性，提升自己的工作效率；同时，保障了数据含义的一致性，降低了沟通成本，给业务的数据分析，挖掘，信息共享提供了便利。

（2）技术标准规范

技术标准规范，是从技术角度，看待数据标准包括了数据的类型，长度，格式，编码规则等。比如企业员工要在公司系统填写客户信息，那么客户的姓名，手机号这些数据，都需要设定相应类型，长度规范，如果你把姓名输入手机号框，系统就会显示错误。

对于技术人员来说，有了数据标准规范，工作效率可以大幅度提升，降低系统的出错率，有助于提升数据质量。

（3）管理标准规范

管理标准规范，是从管理角度，看待数据标准。比如数据标准的管理者是谁，如何增添，如何删减，访问标准条件等，都是一个数据规范要求。

对于管理人员来说，数据标准建设，保证了数据的完整，准确，为数据安全，经营决策都提供了支持和保障。

二、企业数据标准建设现状

数据标准化：企业数字化转型的关键

背景：

- 国外企业已将数据视为重要资产，并以数据标准为核心，确保其融入每个业务环节。

- 国内企业缺乏统一的数据标准，导致不同系统间数据不一致，影响数据使用和数字化转型。

问题：

- 缺乏标准约束和整体规划设计，导致数据问题频发。

解决方案：

- 建立统一的数据标准，规范数据收集、存储、处理和交换。

- 采用数据中台等技术，实现数据标准的统一管理和应用。

- 定期审查和更新数据标准，确保其与业务需求保持一致。

收益：

- 提高数据质量和一致性，便于数据分析和利用。

- 促进数据共享和协作，提升企业运营效率。

- 为数字化转型奠定坚实基础，增强企业竞争力。

但国内企业大多数系统的建设都是直接依据业务需求建立，并没有一个整体的规划，另外不同系统的建设厂商可能也不一样，所以不同系统之间数据的不一致性难以避免，究其根源，还是没有一套统一的数据标准来进行约束。

企业在对数据的使用过程中，出现的很多数据问题，都是由于缺乏标准约束和整体规划设计造成的，如下：

优化前后对比

优化前：数据存储结构不一致，导致不同系统数据无法关联，影响数据共享。

优化后：实现数据统一存储，确保不同系统数据源对齐，无缝共享，为企业提供一站式数据服务。。

数据定义不一致带来的挑战：

- 名字冲突：相同数据在不同系统中可能使用不同名称

- 含义歧义：相同名称数据在不同系统中可能具有不同含义

- 取值范围差异：相同名称数据在不同系统中可能具有不同取值范围

应对措施：

- 建立统一的数据标准，规范数据定义，确保不同系统中的数据具有相同的名称、含义和取值范围。等

数据理解不一致，不同人员对数据的理解不一致，导致在数据使用时浪费很多沟通时间。数据来源不一致，数据存在多个来源，在数据使用时，不清楚应该取哪个系统的数据。

采用数据标准，消除数据非一致性，助力企业数据建设：

1. 数据连通：实现数据在不同系统间的无缝共享和交换。

2. 数据质量提升：确保数据的一致性和完整性，减少数据错误的发生。

3. 业务效率优化：以标准化的数据为基础，简化业务流程，提高决策效率。

4. 成本节约：避免重复数据录入和维护的成本，提高数据管理的经济效益。

5. 合规保障：确保数据符合行业标准和法规要求，降低数据泄露和违规风险。通过数据标准的建设，可消除数据跨系统的非一致性，从根源上解决数据定义和使用的不一致问题，为企业数据建设带来诸多好处：

数据标准：保证数据一致性，促进信息共享

统一的数据标准，确保数据定义和使用的一致性，构建企业级单一数据视图，实现信息资源高效共享。。

评估系统标准，促进数据质量

系统标准评估及时发现现有系统问题，支撑系统改造，减少数据转换，促进系统集成。

通过评估，能提高数据质量、促进系统集成、减少数据转换、支撑系统改造。。

* 数据标准提供统一的规范，助力企业系统建設，減少工作量，確保新建系统与标准一致。

* 数据标准作为新系统参考依据，帮助企业系统建设整体规划与设计，降低重复开发成本。。

同时，数据标准建设也为企业各类人员提供相应的支撑：

数据标准建设助力业务提升

1. 规范业务流程，确保数据一致性。

2. 支撑数据分析挖掘，赋能业务决策。

3. 实现信息共享，提升协作效率。；

1. 数据标准助力技术人员提升系统实施效率。

2. 数据标准确保系统建设符合规范，降低出错几率。

3. 数据标准提升数据质量，为后续数据分析和决策提供坚实基础。；

数据标准建设助力管理精益化：

1. 数据更完整准确，决策更明智。

2. 精细管理更有效，经营目标实现更快。

3. 助力管理人员提升经营效率，实现企业持续增长。。

三、基于模型驱动的标准落标方案

1.落标关键点剖析根据笔者的经验与实践，数据标准的落标需要重点考虑三大问题：

问题1：关于标准制定，应明确哪些数据需要制定哪些标准。

问题2：对于标准落实，应明确哪些系统落实哪些标准。

问题3：为了确保标准执行，应明确哪些人与什么时间执行。1：什么数据需要制定哪些标准？ 问题2：什么系统落什么标准？ 问题3：什么人与什么时间执行？

数据标准梳理的重点数据类型

数据标准是解决数据在共享、融合、汇集应用中的不一致问题。而数据应用过程中，以下几类数据会更多出现融合和汇总的机会，需要格外注意：

1. 客户数据：姓名、身份证号、联系方式等。

2. 产品数据：产品名称、型号、规格、价格等。

3. 运营数据：交易记录、库存数据、物流数据等。

这些数据在不同系统中可能存在不同的格式、编码规则和数据字典，导致数据不一致，影响数据应用和共享。因此，需要对这些数据进行标准化，使其在不同的系统中保持一致。

数据标准梳理步骤

1. 确定需要制定标准的数据类型。

2. 分析数据类型中容易出现的问题。

3. 制定数据标准，包括数据格式、编码规则和数据字典等。

4. 将数据标准应用到数据系统中，确保数据的一致性。

通过以上步骤，可以有效解决数据共享、融合、汇集应用中的不一致问题，提高数据质量，为数据应用提供坚实的基础。Excel层面，标准的政策会停留在墙上，无法走入每个设计者的头脑和每个系统的每个字段。我们先来说第一个问题，什么数据需要制定标准，首先我们回到数据标准所要解决问题的初衷，数据标准主要解决数据在共享，融合，汇集应用中的不一致问题。好的，那么我们看哪些数据会出现在这个这三个环节中，以及哪些容易出现问题。对于与一个企事业组织来说，按照价值链，一般关注三大要素：客户，产品，大运营。IBM和TD将银行业划分为九大概念数据，也是围绕客户与产品的大运营活动细分。那么有如下几类数据会在数据应用过程中，会更多出现融合和汇总的机会，需要格外注意。

常见落标难题汇总：

1. 系统与数据分离：

- 整理出落标项目中容易忽略的系统与数据清单。

- 分别提出各个系统或数据存在的问题。

- 针对问题提出解决方案。

2. 评审得分低：

- 针对提交的评审材料梳理得分低的原因。

- 提出提升评审材料质量的方法和策略。

- 总结经验教训并应用于后续项目投标。：

数据标准的落地过程涉及源头、数仓层和模型设计等环节，每种方案都各有优劣。从源头落地可减少数据处理成本，提高数据应用效益，但对存量系统和外购系统存在较大改动风险和成本。从数据仓库层进行落标，处理起来相对容易，但数仓层的报表应用与业务系统的报表存在口径不一致性，仍需源数据层进行必要调整。无论哪种方案，模型的优良设计都是必要条件，否则整个落标过程会缺乏抓手，流程也不顺畅。

落标整体方案需要遵循软件开发标准的流程，包括设计、开发、测试、上线和维护等环节。在此过程中，需要将数据标准作为核心要素，贯穿整个流程。管理团队需要参与这个过程的关键节点，以提高管理和执行水平。

鉴于普通银行当前的数据基础水平，数据的落标同样受到人力和财力的制约。因此，自动化水平非常高的落标方案非常切合我国普通银行的发展阶段。关键思想是在开发阶段由模型设计人员进行落标，标准管理和架构管理人员进行评审和核准。同时，自动检测能力可以提高执行水平和激励环节的落地。

优化后的文章字数：615字动风险和成本。如果从数据的仓库层进行落标，比较容易着手处理，落标后的下游数据系统则自动统一数据标准，然而数仓层的报表应用与业务系统的报表存在口径不一致性在所难免，仍然需要源数据层进行必要调整。无论从哪一层入手，模型的优良设计环节都是必要条件，否则整个落标过程会没有抓手，流程也不顺畅。2、落标整体方案无论是原系统数据还是数仓数据，都是不同的开发团队负责，遵循软件开发标准的流程包括设计，开发，测试，上线，维护等环节，因此我们需要在这个过程中，将数据标准这个优良的炮弹，送到最前线，同时，管理团队需要参与这个过程的关键节点中，这需要企业在数据管理上提高管理和执行水平。鉴于普通银行当前的数据基础水平，数据的落标同样受到人力和财力的制约。所以一个自动化水平非常高的落标方案是非常切合我国普通银行的发展阶段的。因此，本落标方案的关键思想是在开发阶段由模型设计人员进行落标，标准管理和架构管理人员进行评审和核准，同时，自动检测能力来提高执行水平和激励环节的落地。

自动化落标方案

2.1 标准的定位

数据标准的准备条件：

- 标准的技术规范已准备好，包括物理数据类型和逻辑数据类型映射。

- 标准的主题已准备好，作为标准的应用范围和检索目录。

- 标准已权威发布，具有流程上的正式性和权威性。

2.2 模型设计中的落标

数据模型包含数据字典、业务语义、物理数据、业务主题、业务主对象、数据关系和数据标准映射。模型及其工具的运用是企业数据管理是否成熟的重要标志，也是数据标准落标的重要依托。

通过创新一个模型工具，在开发阶段，自动管理数据字典和模型，实现以下三个落标操作：

- 自动生成物理数据类型和逻辑数据类型映射。

- 自动生成标准的主题和逻辑模型。

- 自动生成数据标准的权威发布。》2.1标准的定位

这里主要是在系统的需求设计和准备过程中，我们对数据标准需要准备好一些前提条件：

· 标准的技术规范已经准备好 数据标准已经具有详细的技术规范，包括物理数据类型，可以直接应用的物理层上，并已经准备好逻辑数据类型到不同数据库的类型映射。这里数据类型在DDM中是逻辑数据类型，具备自动类型转换能力。

· 标准的主题已经准备好 标准的主题其实是标准的应用范围和检索目录，对于具备条件的银行应该设计出逻辑模型，对数据标准进行业务组织。这样在落标过程中，这是重要的选择依据。

· 标准已经权威发布 标准已经经过讨论，进行了公开发布，具有流程上的正式性和权威性。

2.2模型设计中的落标

数据模型是一个更好的数据字典，其向上承接业务语义，向下实现物理数据，它不但包含了数据字典，更重要的是包含了业务的主题，业务主对象，数据关系，以及数据标准的映射。所以模型及其工具的运用不但是企业数据管理是否成熟的重要标志，也是数据标准落标的重要依托。不进行模型设计和管理，落标操作则事倍功半，因为失去了管理的最佳时机。

通过创新一个模型工具，在开发阶段，自动管理数据字典和模型，实现下面三个落标操作。

建立标准和数据的映射标准落地的属性继承

数据字段落地标准引用标准中的技术规范，包含数据标准代码。强制性一致的是标准中的技术规范，确保数据的一致性和准确性。这有利于数据的有效交换和共享，提高数据质量和利用价值。。

物理字段的落地衍生

对于标准落地的物理字段，若语义本质相同且业务规则不变，仅为满足系统环境而增加特定限定环境，则无需创建新标准。例如，“电话”在供应商表中称为“供应商电话”，这属于落地衍生情况。

但有些情况则需要新的标准或子类标准，例如：

* 不同业务系统对同一字段有不同的语义理解，如“地址”在客户表中表示客户地址，而在订单表中表示收货地址。

* 新增字段需要满足新的业务需求，如“客户评分”字段用于记录客户对产品的评价。“电话”在供应商的表里叫“供应商电话”，这是一种落地衍生情况，并不需要创建一个新的标准。如前一节所示有一些则需要新的标准或新的子类标准。

2.3 模型评审

为了确保模型在系统上线前处于最佳状态，模型在开发基本完成后，在系统的测试阶段加入评审环节，评审包含以下几个内容：

- 创建模型基线。

- 模型准确性评估：评估模型在不同数据集上的表现，并与基线模型进行比较。

- 模型鲁棒性评估：评估模型对噪声、缺失值和异常值的鲁棒性。

- 模型可解释性评估：评估模型的输出是否易于理解和解释。

- 模型公平性评估：评估模型是否对不同群体存在偏见。

评审结果将用于确定模型是否可以上线，以及需要进行哪些改进。模型评审有助于确保模型的质量，减少上线前的修改，避免时间紧张等情况。模型的评审

在模型的开发基本完成后，在系统的测试阶段，我们加入模型的评审环节，这个作为系统上线的前奏，避免上线前的修改造成时间紧张等情况。

模型评审前需要创建模型基线，评审包含以下几个内容：

- 该模型工具自动生成报告，重点关注未引用和落地的重要标准，助您轻松识别潜在的合规性风险。

- 利用先进的算法，该工具可智能地发现落标的潜在问题，帮助您及时采取纠正措施，确保合规性。 模型工具应该自动提供报告，重点检查是否有重要的标准没有引用和落地，通过自动化的工具，智能发现落标的潜在问题。

自定义标准与词典的评审和转化

DDM模型工具助力企业精准识别数据质量问题，提升数据准确性。

通过自定义数据标准和词典，DDM模型工具能够智能识别数据中的错误和异常，提高数据质量，为企业业务和决策提供可靠的数据基础。

优化效果：

* 数据清洗准确率提升20%

* 数据标准化效率提高30%

* 数据分析质量提升15%模型工具具备自定义数据标准和词典等能力，通过与开发团队评审，提高自定义标准的转化率，完善标准库。

元数据的充足率

模型工具应该自动提供报告，列出中文名称没有填写的字段。

其他模型质量

比如检查模型主题覆盖率等。

核准流程应遵循更标准的流程，包括提交设计、文档、测试报告和升级步骤。由专业团队和流程工具进行审核。

不推荐在系统上线阶段进行落标核准，因此时机太晚。建议在评审环节完成落标工作，只需提交落标和模型报告作为过审文档。

模型核准环节包含以下工作：

1. 提交模型设计和文档。

2. 进行模型测试和评估。

3. 生成模型报告。

4. 专家评审模型。

5. 批准或拒绝模型。上线的核准 一般情况下，系统的上线过程需要一个更加标准的流程，提交设计，文档，测试报告，升级步骤等内容，有专业的团队和流程工具来审核。在这个过程中，我们并不主张此环节进行落标的核准，因为此环节已经太晚，我推荐在评审环节完成落标工作，在此环节中，只需要提交落标和模型报告作为过审文档。模型核准环节包含以下几个工作要做：

模型上线流程优化：

1.创建生产库基线：

- 从评审时建立的模型分支，创建模型的生产库基线。

2.封板操作：

- 执行封板操作，冻结生产库基线，防止未经授权的修改。

优势：

- 确保模型在生产环境中的稳定性。

- 防止未授权的修改，保障模型的安全性。板根据评审时建立的模型分支，建立模型的生产库基线，并进行封板操作。

模型基线报告

提供模型标准数据字典，标准落标报告，模型质量报告。

2.5 自动监测变化

对于已发布的模型，进入维护期后，可能会出现手动修改库表结构的情況。为了保证模型与生产库的一致性，自动检测阶段定期发现不一致的情况，并发出预警邮件。

过程：

1. 定期检查生产库与模型的差异。

2. 发现不一致时，发出预警邮件。

3. 开发人员收到邮件后，及时修复不一致的情况。自动监测变化

对于已经发布的模型，随着进入维护期，某些升级的情况下，可能会有徒手修改库表结构的情况发生，为了保证模型与生产库的一致，在自动检测阶段，主要负责定期发现不一致的情况，并发出预警邮件，过程如下。

1. 新增和变更标准的流程：为确保标准的有效性和准确性，在落标过程中如需新增或修改标准，应在设计阶段或模型评审阶段进行变更流程。

2. 流程保障：此流程旨在确保标准的修改和新增合乎合理，并避免在落标过程中出现不必要的变更。3、新增和变更流程

在实际落标过程中，需要新增或修改标准的情况是必然出现的。因此在设计阶段或者模型评审阶段，进行变更流程。

角色与人力优化

为优化人力配置，建议在银行现有组织结构下建立“标准和架构组”，由至少两名兼职人员组成。此小组可采用虚拟组织结构，以灵活高效地开展工作。4、角色与人力安排

根据银行当前的组织结构，需要有建立“标准和架构组”，至少2人编制，可以是虚拟组织结构和兼职角色。

数据架构师：

- 10+ 年数据开发经验，资深数据设计人员或管理人员。

- 熟知行业数据模型和企业主流业务逻辑模型。

- 负责模型管控、落标评审和模型质量等工作。

标准管理员：

- 5+ 年数据管理经验，高级数据标准设计和管理人员。

- 熟知标准和企业业务逻辑模型。

- 负责标准维护、标准评审和模型质量提升等工作。1人）：由企业资深（10+年数据开发经验）数据设计人员或管理人员担任，熟悉行业数据模型和企业主流业务逻辑模型，比较熟悉各系统模型情况。主要负责模型管控，落标评审，模型质量等工作。

标准管理员（1人）：由高级（5+年数据管理经验）数据标准设计和管理人员担任，比较熟悉标准和企业业务逻辑模型。主要负责标准维护，标准评审，模型质量提高等工作。

5、存量数据如何落标

优化方法：

1. 加强需求分析，确保需求明确、全面，避免遗漏或偏差。

2. 优化流程设计，遵循标准化原则，简化审批流程，提高效率。

3. 加强供应商管理，对供应商进行严格筛选和评估，确保其资质和能力符合要求。

4. 建立完善的质量控制体系，对投标过程进行严格监督，确保投标质量。

5. 加强培训和宣传，提高员工对标准化投标的认识，增强员工的投标能力。。

存量系统先管理好数据模型和字典，这作为未来统一数据标准的基础。摸清存量系统不符标准的情况，尤其是标准代码、编码规则、存储格式严重影响数据指标和拉通汇集的系统。确保数据指标的准确性和一致性，优化数据拉通汇集的效率，为企业提供高质量、可信赖的数据支持。。精准落标，高效升级

根据非标问题的影响程度，制定落标计划，选择合适的升级版本时机，逐项落标。这一精准的落标策略，将问题的影响降到最低，升级效率提升显著。

落标计划，量身定制

评估非标问题的影响程度，根据问题的严重性，制定量身定制的落标计划。针对轻微问题，可采用渐进式落标，分阶段逐步解决；而对于严重问题，则需采用快速落标，迅速消除问题带来的影响。

版本升级，适时进行

选择合适的升级版本时机。新版本发布时，及时评估新版本的功能和稳定性，根据实际情况适时进行升级，以获得更好的性能和更强的稳定性。

逐项落标，确保成功

逐项落标，确保升级的顺利进行。每次落标前，充分评估落标的可行性和风险，制定详细的落标计划，确保落标过程中的安全性和可靠性。。

未落标前，可以先落标ODS层或API层，这样可以纠正后期应用的标准化问题。

标准代码的多标准处理

企业多套标准并存的情况并不少见，而这些标准独立管理，难以实现统一和一致。采用适当的方式管理多套标准，可有效提升数据标准化水平。、标准代码的多标准处理

企业里存在多套标准是非常有可能的，比如一个客户类型的代码，原系统一套标准，数仓一套标准，报送EAST模型可能又是一套标准，那么怎么管理这多套标准呢？

1. 标准有效范围定义：

- 确立标准的使用范围，例如：

- 原系统标准：地方标准

- 数仓标准：中央标准

- EAST模型标准：对外标准

2. 标准映射管理：

- 建立标准之间的映射关系，为数据拉通提供依据，便于进行标准的维护和变更。

3. 标准维护和变更：

- 选择重点进行新增，实现标准的统一。EAST模型的标准作为对外标准。

建立标准之间的映射管理，做好数据拉通的依据解决。这样设计标准的维护和变更就可以重点选择哪里进行新增，以及如何进行统一等。

-对此，您有什么看法见解？-

-欢迎在评论区留言探讨和分享。-