hive数据库怎样处理空值

在 Hive 中，空值（NULL）的处理和传统的 RDBMS（如 MySQL、Oracle）有一些相似之处，但也有 Hive 自身的特点。下面从存储、判断、转换、运算、统计几个方面系统说明。

一、Hive 中的空值表示

1. NULL（标准空值）

Hive 使用 SQL 标准中的 NULL 表示“未知 / 缺失值”。

SELECT NULL;

2. 空字符串 ''

• Hive 中 '' 不是 NULL
• 除非字段类型本身是 STRING 且你显式插入 ''

'' IS NULL   -- false
'' = NULL    -- NULL（不是 true）

⚠️ 很多“看起来为空”的问题，其实是空字符串而不是 NULL。

二、判断空值

正确方式

col IS NULL
col IS NOT NULL

错误方式

col = NULL      -- 永远返回 NULL
col != NULL     -- 永远返回 NULL

三、空值转换（常用函数）

1. COALESCE（推荐）

返回第一个非 NULL 的值：

COALESCE(col, 0)
COALESCE(col1, col2, 'unknown')

2. NVL（兼容 Oracle）

NVL(col, 0)

3. IF

IF(col IS NULL, 0, col)

4. CASE WHEN

CASE WHEN col IS NULL THEN 0 ELSE col END

四、字符串空值 & 空字符串处理

将空字符串转成 NULL

NULLIF(col, '')

将 NULL 转成空字符串

COALESCE(col, '')

五、空值在运算中的规则

1. 算术运算

只要有一个操作数是 NULL，结果就是 NULL：

1 + NULL  --> NULL

2. 字符串拼接

NULL || 'abc'  --> NULL

（Hive 中可用 CONCAT）

CONCAT(COALESCE(col, ''), 'abc')

六、聚合函数对 NULL 的处理

COUNT(col)        -- 不包含 NULL
COUNT(*)          -- 包含 NULL 行

七、JOIN 中的 NULL

NULL 不会匹配

a.id = b.id

如果 id 为 NULL，不会 JOIN 上

常用处理

COALESCE(a.id, -1) = COALESCE(b.id, -1)

⚠️ 仅在你确认业务允许时这样做。

八、加载数据时空值的处理

1. 文本文件中的空值

默认：

• \N 表示 NULL
• 空字段（''）不是 NULL

ROW FORMAT DELIMITED
NULL DEFINED AS '\N'

2. 自定义 NULL 表示

TBLPROPERTIES ('serialization.null.format' = '')

九、实际常见场景示例

场景 1：避免 NULL 影响计算

SELECT
  user_id,
  COALESCE(amount, 0) AS amount
FROM orders;

场景 2：统计非空用户

SELECT COUNT(user_name)
FROM user;

场景 3：空字符串和 NULL 统一

SELECT
  CASE
    WHEN col IS NULL OR col = '' THEN 'unknown'
    ELSE col
  END
FROM t;

如果你有具体业务场景（比如加载日志、JOIN 失败、SUM 变 NULL、ETL 清洗），可以贴出来，我可以给你更针对性的 Hive SQL 写法。