Debian进程集群部署方案
小樊
39
2025-12-30 08:35:08
Debian进程集群部署方案
一、方案总览与适用场景
- 单机多进程守护：用 systemd 或 Supervisor 管理多个进程，设置 Restart=always 实现崩溃自启与开机自启，适合单节点多实例与快速落地。
- 多机横向扩展：在多个 Debian 节点各自运行应用实例，前置 Nginx/HAProxy 做反向代理与健康检查，实现负载均衡与故障隔离。
- 容器化与编排：用 Docker Compose 快速拉起多副本；规模更大时采用 Kubernetes（Debian 上可用 kubeadm），获得自动调度、健康检查与扩缩容能力。
- 高可用控制面：对入口或核心服务引入 Keepalived VIP 或 Pacemaker+Corosync 管理 VIP 与关键服务，避免单点故障。
- 监控与日志：集中日志用 rsyslog/ELK，资源监控用 htop/glances，应用性能可用 PM2 monit 等。
二、单机多进程与进程守护
- systemd 方式（系统级、开机自启、崩溃重启）
- 关键点：创建 /etc/systemd/system/myapp.service，设置 ExecStart、Restart=always、User、WorkingDirectory；用 journalctl -u myapp 查看日志。
- 适用：任何长期运行进程，要求稳定与系统级集成。
- Supervisor 方式（轻量、批量进程、集中日志）
- 安装与托管：apt install supervisor；配置 /etc/supervisor/conf.d/myapp.conf，用 numprocs 启动多个并发进程，autorestart=true 自动拉起，stdout_logfile 集中输出。
- 适用：多进程/多命令的集中管理、快速横向扩展实例数。
- Node.js 专项（内置或 PM2）
- 内置 cluster：主进程 fork 与 CPU 核心数相同的子进程，子进程共享监听端口，类 Unix 默认 round-robin 分发。
- PM2 集群模式：pm2 start app.js -i max（按 CPU 核数），或用 ecosystem.config.js 配置 instances、exec_mode、autorestart、max_memory_restart，支持 pm2 monit 监控与零停机重启。
三、多机横向扩展与负载均衡
- 架构要点：每台 Debian 节点运行多个应用实例（不同端口或相同端口均可），前置 Nginx/HAProxy 统一暴露 80/443，做反向代理与健康检查，后端按 round-robin 或其他策略分发。
- Nginx 示例
- upstream 定义后端实例；server 段 proxy_pass 到 upstream；按需设置 proxy_http_version 1.1、X-Real-IP、X-Forwarded-For、Upgrade/Connection 以支持长连接与 WebSocket。
- HAProxy 示例
- frontend 监听 80；backend 使用 balance roundrobin 并配置 server … check 健康检查。
- 运维提示：配合进程管理器的 优雅停机/重启 与负载均衡的 健康检查，可实现滚动升级与故障隔离。
四、容器化与编排
- Docker Compose（小规模快速多副本）
- 用 Dockerfile 构建镜像；在 docker-compose.yml 中定义 replicas（如 3–4 个实例）、端口映射、重启策略；命令：docker-compose up -d，docker-compose ps / scale。
- 适用：开发/测试一致性、快速复制环境、与 CI/CD 集成。
- Kubernetes（大规模生产）
- 在 Debian 上使用 kubeadm 搭建高可用集群，常见组合为 Keepalived + HAProxy 提供 VIP 入口，多个 master 节点通过 kube-apiserver 6443 接入，worker 节点加入集群。
- 适用：自动化调度、健康检查、自动扩缩容、滚动升级与声明式运维。
五、高可用与故障转移
- Keepalived VIP（二层/三层浮动 IP）
- 两台入口节点部署 Keepalived，配置 VIP 与 state MASTER/BACKUP、priority，实现主机故障时 VIP 漂移，对外提供稳定入口。
- Pacemaker + Corosync（资源级 HA）
- 多节点安装 pacemaker/corosync/pcs，用 pcs 认证与初始化集群；建议配置 STONITH/fencing 防脑裂；添加 VIP（ocf:heartbeat:IPaddr2） 与 systemd 服务资源（如 systemd:httpd/systemd:mariadb），并设置 colocation/order 约束保证依赖与启动顺序；可验证 standby 节点触发故障转移。
- LAMP 场景实践
- 前端 Nginx 负载均衡到多台 Apache；数据库 MariaDB 主从复制 提升读可用性与故障切换能力；关键服务纳入 Pacemaker 管理，实现 VIP + Apache + MariaDB 的整体 HA。
六、监控、日志与运维要点
- 日志：应用 stdout/stderr 接入 systemd/journald 或 Supervisor，集中到 rsyslog/ELK（Elasticsearch+Logstash+Kibana） 做检索与可视化。
- 监控：节点与资源用 htop/glances；Node.js 可用 PM2 monit；生产建议接入 Prometheus + Grafana 做指标与告警。
- 安全：仅放通必要端口（如 80/443），数据库端口（如 3306）限制为可信来源；对外入口使用 TLS；集群节点间通信按需开放端口并加固。
- 升级与回滚：采用 蓝绿/金丝雀 发布策略；配合 健康检查 与 优雅停机（先摘除流量、再重启进程、最后恢复流量），确保零或低影响升级。
