linux hbase为何丢数据

在 Linux 环境下使用 HBase 时出现“丢数据”的情况，通常不是 HBase 主动把数据删了，而是架构特性、配置问题或运维操作导致数据看起来丢了 / 实际不可见 / 被覆盖 / 被清理。下面按常见原因 → 原理 → 解决办法说明。

一、HBase 自身机制导致的“看起来丢数据”

1. 数据还未真正落盘（WAL / MemStore）

HBase 写流程：

Client → RegionServer → WAL → MemStore →（flush）→ HFile

可能情况：

• 刚写入，MemStore 还没 flush
• RegionServer 崩溃，但 WAL 未正常恢复
• 写入成功返回，但后续 flush 失败

✅ 排查：

hbase hbck -details

✅ 建议：

• 确保 hbase.wal.provider 正常
• 不要强行 kill -9 RegionServer
• 检查 WAL 目录是否损坏

2. Delete / TTL / Version 导致数据被“逻辑删除”

HBase 是 append-only + 多版本：

• delete 只是打标记
• TTL 到期自动清理
• 超过 MAX_VERSIONS 的旧版本被覆盖

常见坑：

# 默认只保留 1 个版本
create 't', {NAME=>'cf', VERSIONS=>1}

✅ 解决：

alter 't', {NAME=>'cf', VERSIONS=>5, TTL=>'FOREVER'}

3. Major Compaction 清理了“过期/删除”数据

• Minor Compaction：不清理 delete
• Major Compaction：真正删除数据

如果你看到：

“昨晚还有，今早没了”

很可能是 Major Compaction 触发了

✅ 查看：

hbase shell
describe 'your_table'

✅ 控制：

hbase.hregion.majorcompaction = 0  # 禁用自动

二、Linux / 运维层面的真实丢数据

4. 磁盘满了（最常见!）

Linux 磁盘 100% 时：

• WAL 写不进去
• flush 失败
• RegionServer 直接挂

✅ 检查：

df -h
du -sh /hbase/*

✅ 建议：

• 单独磁盘给 HBase
• 监控磁盘 >85%

5. 文件被误删（Linux 层）

常见误操作：

rm -rf /hbase/data/default/xxx

后果：

• Region 直接损坏
• 表打不开

✅ 修复：

hbase hbck -fix

⚠️ 严重情况只能从快照恢复

6. ZooKeeper 异常导致 Region 分配错乱

ZK 挂了或数据不一致：

• Region 被重复分配
• 元数据错乱
• 数据不可见

✅ 检查：

zkCli.sh ls /hbase

三、使用方式错误导致的“丢数据”

7. 表被 truncate / disable + drop

truncate 't'   # 清空表
drop 't'       # 删表

⚠️ 这些操作不可逆

8. 客户端写入失败但没重试

错误示例：

table.put(put); // 不检查返回值

✅ 正确：

table.put(list);

或开启：

hbase.client.retries.number=5

四、快速自查清单（强烈建议）

# 1. 表是否还在
list

# 2. 元数据是否一致
hbase hbck -details

# 3. RegionServer 是否异常
hbase master ui

# 4. 磁盘
df -h

# 5. WAL 是否损坏
ls /hbase/WALs

五、如果你愿意，我可以更精准帮你

你可以补充：

1. HBase 版本
2. 单机还是集群
3. 丢失的是全部 / 部分 / 某时间段
4. 是否有 kill / 重启 / 磁盘满

我可以直接帮你定位是哪一类丢数据。