数据仓库|执行大数据ETL过程的步骤有哪些?

文章图片

ETL代表提取，转换和加载。 ETL是一个用于提取数据，转换数据和将数据加载到最终源的过程。 ETL遵循将数据从源系统加载到数据仓库的过程。

执行ETL过程的步骤如下:
提取
【数据仓库|执行大数据ETL过程的步骤有哪些?】提取是第一个过程，其中收集来自不同来源的数据，如文本文件， XML文件， Excel文件或各种其他来源。
转换
转换是ETL过程的第二步，其中所有收集的数据都已转换为相同的格式。根据要求，格式可以是任何格式。在该步骤中，将一组函数规则应用于提取的数据以将其转换为单个标准格式。它可能涉及以下任务:
过滤:仅将特定属性加载到数据仓库中。
清除:使用特定的默认值填充空值。
加入:将多个属性加入到一个属性中。
拆分:将单个属性拆分为多个属性。
排序:根据属性对元组进行排序。

加载
加载是ETL过程的最后一步。从各种来源收集大量数据，转换它们，最后加载到数据仓库。
ETL是从不同源系统提取数据，转换数据并将数据加载到数据仓库的过程。 ETL流程需要各种利益相关方的积极参与，包括开发人员，分析师，测试人员，高级管理人员。
ETL(提取，转换和加载)是一种自动化过程，用于从原始数据中提取分析所需的信息，并将其转换为可满足业务需求并将其加载到数据仓库中的格式。 ETL通常汇总数据以减小其大小并提高特定类型分析的性能。
ETL过程使用流水线概令。在这个概令中，一旦提取数据，就可以对其进行变换，并且在变换期间，可以获得新数据，当将修改后的数据加载到数据仓库中时，可以转换已提取的数据。