Tomcat如何实现集群部署

Tomcat集群部署实操指南

一 架构与准备

• 架构组成：前端使用Nginx/Apache HTTP Server做反向代理与负载均衡，后端部署多个Tomcat实例组成集群，实现高可用与横向扩展。
• 一致性要求：各节点保持相同Tomcat版本与相同应用版本，便于会话复制与应用一致性。
• 网络与端口：确保节点间互通，并规划好各实例的HTTP/AJP/集群接收器端口，避免冲突。
• 基础环境：安装JDK、配置JAVA_HOME，下载并解压Tomcat到统一目录（如**/opt/tomcat**）。

二 配置Tomcat集群节点

• 基本集群开关：在server.xml的Engine内加入或启用SimpleTcpCluster，并在应用的web.xml中添加****，使应用支持分布式会话。
• 示例最小集群片段（server.xml，Engine内）：

<Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster"
         channelSendOptions="8">
  <Manager className="org.apache.catalina.ha.session.DeltaManager"
           expireSessionsOnShutdown="false"
           notifyListenersOnReplication="true"/>
  <Channel className="org.apache.catalina.tribes.group.GroupChannel">
    <Membership className="org.apache.catalina.tribes.membership.McastService"
                address="228.0.0.4"
                port="45564"
                frequency="500"
                dropTime="3000"/>
    <Receiver className="org.apache.catalina.tribes.transport.nio.NioReceiver"
              address="auto"
              port="4000"
              autoBind="100"
              selectorTimeout="5000"
              maxThreads="6"/>
    <Sender className="org.apache.catalina.tribes.transport.ReplicationTransmitter">
      <Transport className="org.apache.catalina.tribes.transport.nio.PooledParallelSender"/>
    </Sender>
    <Interceptor className="org.apache.catalina.tribes.group.interceptors.TcpFailureDetector"/>
    <Interceptor className="org.apache.catalina.tribes.group.interceptors.MessageDispatchInterceptor"/>
  </Channel>
  <Valve className="org.apache.catalina.ha.tcp.ReplicationValve" filter=""/>
  <Valve className="org.apache.catalina.ha.session.JvmRouteBinderValve"/>
  <ClusterListener className="org.apache.catalina.ha.session.ClusterSessionListener"/>
</Cluster>

• 关键参数说明：
  • Manager：常用DeltaManager（会话变更广播到所有节点，适合节点应用一致）；BackupManager（会话备份到指定节点，节点应用可不同）。
  • Channel：Membership用组播发现节点（同一集群需一致）；Receiver为本机接收端口（单机多实例需不同）；Sender/Transport建议用NIO提升吞吐。
  • Valve：ReplicationValve开启请求结束时的会话复制；JvmRouteBinderValve配合jvmRoute支持会话粘滞恢复。
• 同一主机多实例端口规划（示例）：
  • 实例A：Server 8005、HTTP 8080、AJP 8009、Receiver 4000
  • 实例B：Server 8006、HTTP 8081、AJP 8010、Receiver 4001
• 启用粘滞会话（可选）：在server.xml的Engine上设置jvmRoute（如node1/node2），负载均衡器开启sticky_session（Nginx需第三方模块，Apache mod_jk可直接开启）。

三 配置负载均衡器

• Nginx示例（HTTP反向代理，轮询）：

http {
  upstream tomcat_cluster {
    server 192.168.1.11:8080;
    server 192.168.1.12:8080;
    # 如需会话粘滞，可使用 ip_hash; 或引入 nginx-sticky-module
  }
  server {
    listen 80;
    location / {
      proxy_pass http://tomcat_cluster;
      proxy_set_header Host $host;
      proxy_set_header X-Real-IP $remote_addr;
      proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
      proxy_set_header X-Forwarded-Proto $scheme;
    }
  }
}

• Apache HTTP Server + mod_jk示例：
  • 启用模块：在httpd.conf中加载mod_jk并包含配置。
  • workers.properties：

worker.list=loadbalancer
worker.tomcat1.type=ajp13
worker.tomcat1.host=192.168.1.11
worker.tomcat1.port=8009
worker.tomcat1.lbfactor=1
worker.tomcat2.type=ajp13
worker.tomcat2.host=192.168.1.12
worker.tomcat2.port=8010
worker.tomcat2.lbfactor=1
worker.loadbalancer.type=lb
worker.loadbalancer.balance_workers=tomcat1,tomcat2
worker.loadbalancer.sticky_session=1

• 提示：Nginx原生不支持会话粘滞，可用ip_hash或第三方sticky模块；Apache使用mod_jk时通过sticky_session=1启用。

四 部署与验证

• 启动顺序：先启动所有Tomcat实例，再启动Nginx/Apache。
• 健康检查：访问负载均衡器地址，观察请求是否分发到不同节点（可通过返回页或日志确认）。
• 会话复制验证：
  • 登录应用，记录JSESSIONID；
  • 停止当前承载节点，刷新页面，确认会话仍可用（无感知或最小影响）；
  • 查看各节点日志，确认ReplicationValve与ClusterSessionListener有会话复制记录。
• 扩展建议：上线前进行并发与故障演练，并接入监控告警（如Prometheus + Grafana）。

五 常见问题与优化

• 端口冲突：单机多实例需确保Server/HTTP/AJP/Receiver端口唯一；跨机部署注意防火墙/安全组放行相关端口。
• 组播限制：部分云环境或网络对组播（228.0.0.4:45564）支持不佳，可改用静态成员或外部会话存储（见下）。
• 会话复制策略：
  • DeltaManager适合节点应用一致、广播复制；
  • BackupManager适合节点应用不完全一致、指定备份节点；
  • 复制模式可通过channelSendOptions调整（如8=异步、10=异步+确认）。
• 会话粘滞与一致性权衡：粘滞减少复制，但存在单点风险；无粘滞复制更健壮，但需评估带宽与一致性需求。
• 大规模与云原生建议：
  • 使用Redis/Memcached等集中式会话存储替代in-memory复制，便于跨机房与弹性扩缩；
  • 结合健康检查与熔断，避免故障节点雪崩；
  • 持续监控线程池、连接数、GC与复制延迟，按需调优。