一文读懂|数据治理之数据血缘关系分析

一文读懂|数据治理之数据血缘关系分析数字化时代,数据作为关键生产要素,成为了推动社会经济发展的核心动能。与此同时,各种类型的数据也在快速产生,爆发性的增长导致数据之间的关系也变得越

大家好,欢迎来到IT知识分享网。

数字化时代,数据作为关键生产要素,成为了推动社会经济发展的核心动能。与此同时,各种类型的数据也在快速产生,爆发性的增长导致数据之间的关系也变得越发复杂。

一文读懂|数据治理之数据血缘关系分析

为了更好地发挥数据的价值,数据治理成为很多企业的重要发展战略。其中,数据血缘关系分析是企业进行数据治理的重要一环。数据血缘关系描述了数据的来源和去向,以及数据在多个ETL处理过程中的转换,因此,数据血缘是组织内使数据发挥价值的重要基础能力。

那么,究竟什么是数据血缘关系?又该怎么做好数据血缘关系分析呢?

什么是数据血缘关系?

数据血缘关系是指数据在产生、处理、流转到消亡过程中,数据之间形成的一种类似于人类社会血缘关系的关系。

数据血缘分析可以梳理系统、表、视图、存储过程、ETL、程序代码、字段等之间的关系,并采用图数据库进行可视化展示。简单地说就是通过可视化展示数据的来源、流转过程、最终归宿及计算逻辑。

数据血缘关系的4大特征

1. 归属性。一般来说,特定的数据归属特定的组织或者个人,数据具有归属性。

2. 多源性。同一个数据可以有多个来源(多个父亲)。一个数据可以是多个数据经过加工生成的,而且这种加工过程可以是多个。

3. 可追溯性。数据的血缘关系体现了数据的生命周期,体现了数据从产生到消亡的整个过程,具备可追溯性。

4. 层次性。数据的血缘关系是有层次的。对数据进行分类、归纳、总结等描述信息又会形成新的数据,不同程度的描述信息形成了数据的层次。

一文读懂|数据治理之数据血缘关系分析

为什么要进行数据血缘关系分析?

进行数据血缘关系分析,有以下作用:

1、 数据溯源。依托于数据血缘关系可追溯的特点,根据血缘中的数据链路关系,可对指定数据的来源、去向进行追溯,帮助用户理解数据含义、在全流程上定位数据问题、进行数据关联影响分析等,解决多层复杂逻辑处理后的数据难以理解、难以应用、出现问题难以定位等问题。

2、 数据价值评估。数据血缘提供了一种基于数据实际应用的价值评估方法:使用者越多(需求方)、使用量级越大、更新越频繁的数据往往更有价值。

3、 数据质量评估。数据血缘关系清晰地记录了数据来源以及数据流转过程中的处理方式和处理规则,能对各个数据节点的分析和数据质量进行评估。

4、 数据归档参考。数据血缘关系记录了数据的去向,可清晰地掌握数据被使用的情况,一旦数据失去价值。就可以对数据进行进一步评估,考虑进行归档或销毁处理。

一文读懂|数据治理之数据血缘关系分析

如何进行数据血缘关系分析?

数据血缘分析是贯穿数据生命周期的过程,涉及流程、技术、产品等多维度的内容。数据血缘分析可以分为三大模块:数据血缘建设,数据血缘分析,数据血缘可视化。

1. 数据血缘建设。数据血缘建设是一种管理流程和数据意识,需要延伸到数据产生之前,从数据存储的设计开始。数据血缘建设的目标是当这些生而有之的数据血缘关系产生时,能被及时、准确地记录和存储下来。数据血缘建设是数据血缘分析的前提条件,准确、完整、及时记录信息才能带来有效的血缘分析效果。

2. 数据血缘关系分析。数据血缘分析针对数据流转过程中产生并记录的各种信息进行采集、处理和分析,对数据之间的血缘关系进行系统性梳理、关联、并将梳理完成信息进行存储。其目标是实现数据来源的精确追踪、流转过程的准确还原、数据去向的精准定位。

3. 数据血缘关系可视化。血缘分析完成后,需要依靠可视化技术将分析结果清晰、直观地传递给用户,帮助客户进行二次分析和具体应用。

数据血缘分析需要依赖丰富的可分析数据、强大的数据采集和血缘分析能力,是一个贯穿数据生命周期的持续性工程。因此,仅靠人力进行数据血缘关系分析是不切实际的,而需要工具的帮助。

飞算SoData数据机器人是一款实时+批次、 批流一体、高效的数据开发治理工具,帮助企业快速实现数据应用。相较于传统数据加工流程,飞算SoData数据机器人实现了流批一体数据同步机制,基于SPARK和FLINK框架进行深度二次开发,实现数据采集、集成、转换、装载、加工、落盘全流程实时+批次处理的极致体验,快速响应企业数据应用需求。

针对数据血缘关系分析,飞算SoData数据机器人深度集成了血缘关系组件等多个组件,且具备全面的运维可视化能力,能够与数据开发步骤结合,每一个数据加工步骤都有记录通过原生组件内,SQL实时解析,构成完整的全局血缘关系图,帮助用户轻松完成数据血缘关系分析。

免责声明:本站所有文章内容,图片,视频等均是来源于用户投稿和互联网及文摘转载整编而成,不代表本站观点,不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益,请在线联系站长,一经查实,本站将立刻删除。 本文来自网络,若有侵权,请联系删除,如若转载,请注明出处:https://yundeesoft.com/66010.html

(0)

相关推荐

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注

关注微信