CentOS 上实现 MinIO 高可用的核心思路
- 采用多节点多磁盘（MNMD）分布式部署，利用纠删码在节点与磁盘层面同时提供冗余，避免单点故障。
- 通过域名或 VIP + 负载均衡对外暴露统一入口，消除单节点入口风险。
- 全链路TLS加密、最小权限的IAM 策略、监控告警与定期演练保障可用性与可运维性。
- 仅使用本地直连存储（DAS），避免 NFS/SAN 等共享存储带来的性能与一致性问题。
- 节点间时间同步（NTP），推荐偏差不超过3 秒。
部署架构与容量规划
- 节点与容错：生产推荐至少4 节点，可容忍同时故障2 节点；一般规则为：只要有≥ N/2 节点在线数据可读，需≥ N/2+1 节点才能写入（N 为节点总数）。
- 磁盘与纠删集：每个纠删集包含4–16个驱动器，集群总驱动器数应为该范围的倍数；对象写入单个纠删集，集合内驱动器尽量均匀分布在不同节点。
- 示例拓扑：4 节点 × 每节点 4 盘（共 16 盘），可容忍任意 2 盘或 2 节点同时故障，兼顾性能与容量。
CentOS 上的落地步骤
- 准备（所有节点）
- 主机名解析：在 /etc/hosts 或 DNS 中配置所有节点主机名与 IP。
- 防火墙放行：开放 9000/TCP（API） 与 9001/TCP（控制台）。
- 数据盘与文件系统：为每块盘创建 XFS 文件系统并挂载到如 /mnt/disk{1…4}，目录属主给运行用户（如 minio-user）。
- 时间同步：启用 chrony/ntpd，节点间时间偏差建议 ≤ 3 秒。
- 安装与系统服务
- 下载 MinIO 二进制至 /opt/minio/bin，软链至 /usr/local/bin。
- 创建系统用户 minio-user 并授权数据目录。
- 配置 /etc/default/minio：设置 MINIO_ROOT_USER / MINIO_ROOT_PASSWORD、MINIO_VOLUMES（列出所有节点所有磁盘路径）、MINIO_OPTS=“–address :9000 --console-address :9001”；如对外使用域名，设置 MINIO_SERVER_URL=https://your-domain:9000。
- 配置 /etc/systemd/system/minio.service（User=minio-user，EnvironmentFile=/etc/default/minio，ExecStart=/opt/minio/bin/minio server $MINIO_OPTS $MINIO_VOLUMES，Restart=always，LimitNOFILE=65536）。
- 启动集群
- 所有节点执行：systemctl daemon-reload && systemctl enable minio --now。
- 需在各节点快速、几乎同时启动，避免法定人数未达成导致启动失败。
- 入口与证书
- 对外使用 Nginx/HAProxy/CLB 做 4 层/7 层负载均衡，健康检查指向 :9000/health/live。
- 证书放置：将 TLS 证书放入运行用户的 ~/.minio/certs（或自定义证书目录），确保 API 与控制台均走 HTTPS。
- 验证
- 控制台 http(s)://<LB或任一节点IP>:9001 登录，查看节点与磁盘健康。
- 使用 mc 执行：mc alias set myminio <LB或节点>:9000 <ROOT_USER> <ROOT_PASS>；mc admin info myminio 检查集群状态。
高可用与运维要点
- 数据安全与修复
- 磁盘/节点故障时，MinIO 会在后台自动修复受影响数据；可在控制台 Diagnostics 或 mc 观察修复进度与健康状态。
- 入口高可用
- 负载均衡建议开启会话保持与健康检查，控制台与 API 可分别配置 upstream，避免单实例故障导致控制台不可用。
- 监控与告警
- 启用 Prometheus 指标端点 :9001/minio/prometheus/metrics，接入 Grafana 设置容量、请求延迟、5xx 错误、节点离线等告警。
- 容量与扩容
- 纠删码容量利用率约为 50%（EC:4 为例）；扩容需按“4–16 驱动器/纠删集”规则新增整组磁盘，再逐步数据均衡。
- 备份与演练
- 跨区域/跨云使用 mc mirror 做定期/持续镜像；定期演练“节点宕机、磁盘拔除、证书轮换”等故障场景，验证恢复流程与 SLA。
常见误区与排查清单
- 仅用单机多盘不具备节点级容错，不属于生产级高可用；需采用 MNMD。
- 启动顺序过慢或网络不通会导致节点无法加入；务必保证全网互通、时间同步、防火墙放行，并同时启动。
- 证书路径或权限错误会导致 API/控制台异常；确认证书位于运行用户的 ~/.minio/certs 或配置 –certs-dir。
- 驱动器总数不满足 4–16 的倍数或分布不均，会影响纠删集划分与性能；按规则重规划磁盘。
- 使用 NFS/SAN 共享盘会引入锁与性能问题；优先 本地直连存储。
