临时表在ETL中怎么用

在 ETL（抽取、转换、加载）过程中，临时表（Temporary Table）是非常常见且实用的工具，主要用来暂存中间数据、简化复杂逻辑、提升性能、保证数据一致性。下面从「为什么用、怎么用、常见场景、注意事项」几个角度说明。

一、为什么在 ETL 中使用临时表

1. 拆分复杂逻辑

   • 把一个大 SQL / 大任务拆成多个小步骤
   • 每一步结果落临时表，逻辑更清晰、易维护

2. 提升性能

   • 避免重复计算
   • 对中间结果建索引、做过滤，减少后续处理数据量

3. 保证数据一致性

   • 在加载目标表前，先在临时表中完成清洗和校验
   • 加载时一次性写入，减少目标表锁表时间

4. 支持分步调试

   • 每一步都能查临时表数据，方便排查问题

二、临时表的常见类型

1. 数据库级临时表（最常见）

• 会话级：只对当前连接可见（如 MySQL TEMPORARY TABLE、PostgreSQL TEMP TABLE）
• 事务级：事务结束自动清空（如 Oracle 临时表）

示例（MySQL）：

CREATE TEMPORARY TABLE tmp_sales_clean (
    user_id INT,
    amount DECIMAL(10,2)
);

INSERT INTO tmp_sales_clean
SELECT user_id, amount
FROM ods_sales
WHERE amount > 0;

2. 物理中间表（类临时表）

在 ETL 中人为定义的普通表，如：

etl_tmp_sales_20260121

特点：

• 跨会话可见
• 任务结束后手动或定时清理
• 常用于 Spark / Hive / 数据仓库

3. 内存表 / CTE（轻量临时）

• CTE（WITH 语句）：不落盘，逻辑临时

WITH clean_data AS (
    SELECT * FROM ods_user WHERE status = 1
)
SELECT * FROM clean_data;

• 适合小数据量、简单转换

三、ETL 中典型使用场景

场景 1：数据清洗

ODS → 临时表(清洗) → 临时表(转换) → DW

示例：

-- 1. 去重
CREATE TEMP TABLE tmp_dedup AS
SELECT DISTINCT * FROM ods_order;

-- 2. 格式化
CREATE TEMP TABLE tmp_format AS
SELECT order_id,
       TO_DATE(create_time) AS order_date
FROM tmp_dedup;

场景 2：多表关联中间结果

CREATE TEMP TABLE tmp_user_order AS
SELECT u.user_id, u.name, o.amount
FROM dim_user u
JOIN ods_order o ON u.user_id = o.user_id;

后续只基于 tmp_user_order 做聚合，避免重复 JOIN。

场景 3：分批加载（防锁表）

1. 抽取数据 → 临时表
2. 校验、转换
3. INSERT INTO 目标表（一批）
4. 清空临时表

场景 4：错误数据隔离

INSERT INTO tmp_error_log
SELECT * FROM ods_data
WHERE amount < 0 OR user_id IS NULL;

四、在 ETL 工具中的用法

1. Kettle（PDI）

• 「表输入」→「临时表输出」
• 或直接使用 ##temp 表（SQL Server）

2. Spark / Hive

CREATE TEMPORARY VIEW tmp_sales AS
SELECT * FROM sales WHERE dt='2026-01-21';

3. Airflow + SQL

• 每个 Task 操作一个临时表
• 任务结束 Drop 临时表

五、使用临时表的注意事项

1. 及时清理

   • 会话临时表：连接断开自动清
   • 物理临时表：任务结束 DROP

2. 避免数据膨胀

   • 临时表不是“无限空间”
   • 只存必要字段

3. 并发问题

   • 同名的会话临时表互不影响
   • 物理临时表要加任务 ID / 日期后缀

4. 事务控制

   • 大批量写入注意事务大小和回滚成本

六、一句话总结

ETL 中的临时表 = 数据处理的“中转站”，用来把复杂、脏、大的数据，逐步变成干净、小、可用的数据，再安全地写入目标系统。

如果你用的是 具体数据库（MySQL / Hive / Oracle / SQL Server）或 ETL 工具，我可以给你更贴合的示例。