大数据-ETL

2026-8-24 diaba

ETL = Extract‑Transform‑Load,抽取 (Extract)、转换 (Transform)、加载 (Load),是数据仓库、大数据领域最基础的数据处理流程。 拆解含义 Extract 抽取 从各个源系统把数据读出来。 源可以:业务 MySQL 库、日志文件、接口、Hive 表、第三方数据源。 例:把信贷业务库的借款表、还款流水同步抽取出来。 Transform 转换(最核心) 对原始数据做清洗、加工、计算、归一化。 常见处理: 清洗:去重、过滤脏数据、处理 n...

阅读全文>>

标签: 大数据

评论(0) 浏览(10)

Powered by emlog 京ICP备15045175号-1 Copyright © 2022