数据仓库系列6-ETL vs ELT

数据仓库系列6-ETL vs ELT什么是ETL?ETL 是 Extract、Transform 和 Load 的缩写。在这个过程中,ETL 工具从不同的 RDBMS 源系统中提取

大家好,欢迎来到IT知识分享网。

什么是ETL?

ETL 是 Extract、Transform 和 Load 的缩写。在这个过程中,ETL 工具从不同的 RDBMS 源系统中提取数据,然后应用计算、连接等转换数据,然后将数据加载到数据仓库系统中。

在ETL 中,数据是从源流向目标。ETL 流程转换引擎负责处理任何数据更改。

数据仓库系列6-ETL vs ELT

什么是ETL

什么是 ELT?

ELT 是查看数据移动工具方法的不同方法。ELT 不是在写入数据之前转换数据,而是让目标系统进行转换。数据首先复制到目标,然后就地转换。

ELT 通常与 Hadoop 集群、数据设备或云安装等非 Sql 数据库一起使用。

数据仓库系列6-ETL vs ELT

什么是 ELT

接下来,我们将了解 ETL 和 ELT 之间的区别。

主要区别

  • ETL 代表提取、转换和加载,而 ELT 代表提取、加载、转换。
  • ETL 首先将数据加载到登台服务器,然后加载到目标系统,而 ELT 将数据直接加载到目标系统。
  • ETL 模型用于本地、关系和结构化数据,而 ELT 用于可扩展的云结构化和非结构化数据源。
  • 比较 ELT 和 ETL,ETL 主要用于少量数据,而 ELT 用于大量数据。
  • 当我们比较 ETL 与 ELT 时,ETL 不提供数据湖支持,而 ELT 提供数据湖支持。
  • 比较 ELT 与 ETL,ETL 易于实施,而 ELT 需要特定技能来实施和维护。

ETL 与 ELT 之间的区别

以下是主要的 ETL 和 ELT 区别:

参数

ETL

ELT

过程

数据在登台服务器上转换,然后传输到 Datawarehouse DB。

数据保留在数据仓库的 DB 中。

代码使用

用于
* 计算密集型转换
* 数据量小

用于大量数据

转型

转换在 ETL 服务器/暂存区完成。

在目标系统中执行转换

时间-加载

数据首先加载到登台,然后加载到目标系统。时间密集。

数据只加载到目标系统一次。快点。

时间-转换

ETL 过程需要等待转换完成。随着数据大小的增长,转换时间也会增加。

在 ELT 过程中,速度从不依赖于数据的大小。

时间-维护

它需要高维护,因为您需要选择要加载和转换的数据。

由于数据始终可用,因此维护成本低。

实施复杂性

在早期阶段,更容易实施。

要实施 ELT 流程,组织应该对工具和专业技能有深入的了解。

支持数据仓库

ETL 模型用于本地、关系和结构化数据。

用于支持结构化、非结构化数据源的可扩展云基础架构。

数据湖支持

不支持。

允许将数据湖与非结构化数据一起使用。

复杂

ETL 过程仅加载在设计时确定的重要数据。

此过程涉及从输出向后开发并仅加载相关数据。

成本

中小企业成本高。

使用在线软件即服务平台的低入门成本。

查找

在 ETL 过程中,事实和维度都需要在 staging area 中可用。

所有数据都将可用,因为提取和加载发生在一个单一的操作中。

聚合

复杂性随着数据集中数据量的增加而增加。

目标平台的强大功能可以快速处理大量数据。

计算

覆盖现有列或需要附加数据集并推送到目标平台。

轻松将计算列添加到现有表中。

成熟度

这个过程已经使用了二十多年。它有据可查,最佳实践很容易获得。

相对较新的概念且实施起来较复杂。

硬件

大多数工具都有昂贵的独特硬件要求。

成为 Saas 硬件成本不是问题。

支持非结构化数据

主要支持关系数据

支持随时可用的非结构化数据。

参考guru99

免责声明:本站所有文章内容,图片,视频等均是来源于用户投稿和互联网及文摘转载整编而成,不代表本站观点,不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益,请在线联系站长,一经查实,本站将立刻删除。 本文来自网络,若有侵权,请联系删除,如若转载,请注明出处:https://yundeesoft.com/63465.html

(0)

相关推荐

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注

关注微信