数据集成的两种架构:ELT和ETL

数据集成的两种架构:ELT和ETL数据集成的两种架构:ELT和ETL集成是数据工程师要做的工作之一。一般来说,数据工程师的工作包括了数据的ETL和数据挖掘算法的实现。算法实现 可

大家好,欢迎来到IT知识分享网。

数据集成的两种架构:ELT和ETL

集成是数据工程师要做的工作之一。一般来说,数据工程师的工作包括了数据的ETL和数据挖掘算法的实现。算法实现 可以理解,就是通过数据挖掘算法,从数据仓库中找到“金子 什么是ETL呢? ETL是英文Extract. Transform和Load的缩写,顾名思义它包括了数据抽取、转换、加载三个过程。ETL可 以说是进行数据挖掘这项工作前的”备菜”过程。

我来解释一下数据抽取、转换、加载这三个过程。

ETL的过程为提取(Extract)——转换(Transform)——加载(Load),在数据源抽取后首先进行转换,然后将转换的结果写入 目的地。

ELT的过程则是提取(Extract)—加载(Load)——变换(Transform),在抽取后将结果先写入目的地,然后利用数据库的聚 合分析能力或者外部计算框架,如Spark来完成转换的步骤

目前数据集成的主流架构是ETL ,但未来使用ELT作为数据集成架构的将越来越多。这样做会带来多种好处:

ELT和ETL相比,最大的区别是”重抽取和加载,轻转换”,从而可以用更轻量的方案搭建起一个数据集成平台。使用ELT 方法,在提取完成之后,数据加载会立即开始。一方面更省时,另一方面ELT允许BI分析人员无限制地访问整个原始数 据,为分析师提供了更大的灵活性,使之能更好地支持业务。

免责声明:本站所有文章内容,图片,视频等均是来源于用户投稿和互联网及文摘转载整编而成,不代表本站观点,不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益,请在线联系站长,一经查实,本站将立刻删除。 本文来自网络,若有侵权,请联系删除,如若转载,请注明出处:https://yundeesoft.com/63401.html

(0)

相关推荐

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注

关注微信