flink框架怎样部署集群

下面系统地说明 Apache Flink 集群的部署方式，从常见模式到具体步骤，适合初学者和运维人员参考。

一、Flink 集群常见部署模式

1. Standalone 模式（最基础）

• Flink 自带集群，不依赖外部调度系统
• 适合学习、测试、小规模生产
• 组件：
  • JobManager（Master）
  • TaskManager（Worker）

2. YARN 模式（企业常用）

• 利用 Hadoop YARN 做资源调度
• 支持 Session 模式 和 Per-Job 模式
• 适合已有 Hadoop 生态的公司

3. Kubernetes 模式（云原生）

• 以 Deployment / Job 方式运行
• 支持 Native Kubernetes
• 适合容器化和弹性伸缩场景

4. 其他

• Mesos（较少用）
• Flink on Docker Compose（本地测试）

二、Standalone 集群部署（详细步骤）

1. 环境准备

• JDK 8 或 11（推荐 8）
• 多台 Linux 机器（或一台模拟）
• 机器间 SSH 免密（可选但建议）

java -version

2. 下载并解压 Flink

wget https://archive.apache.org/dist/flink/flink-1.17.1/flink-1.17.1-bin-scala_2.12.tgz
tar -zxvf flink-1.17.1-bin-scala_2.12.tgz
cd flink-1.17.1

3. 修改配置文件

conf/flink-conf.yaml

jobmanager.rpc.address: node1
jobmanager.rpc.port: 6123
taskmanager.numberOfTaskSlots: 4

conf/masters

node1:8081

conf/workers

node2
node3

4. 分发到各节点

scp -r flink-1.17.1 node2:/opt/
scp -r flink-1.17.1 node3:/opt/

5. 启动集群

bin/start-cluster.sh

6. 验证

• Web UI：

  http://node1:8081
  

• 提交任务测试：

bin/flink run examples/streaming/WordCount.jar

三、YARN 集群部署（简述）

Session 模式

bin/yarn-session.sh -n 2 -jm 1024 -tm 2048

Per-Job 模式

bin/flink run -m yarn-cluster -yn 2 examples/streaming/WordCount.jar

需配置 HADOOP_CONF_DIR

四、Kubernetes 部署（简述）

使用 Native Kubernetes

bin/flink run-application \
  -t kubernetes-application \
  -Dkubernetes.cluster-id=flink-cluster \
  -Dkubernetes.taskmanager.cpu=1 \
  examples/streaming/WordCount.jar

五、高可用（HA）建议

• 使用 ZooKeeper
• 配置：

high-availability: zookeeper
high-availability.zookeeper.quorum: zk1:2181,zk2:2181

六、选择建议

如果你愿意，我可以：

• 给你一份 生产级 flink-conf.yaml 示例
• 帮你画 Flink 集群架构图
• 讲 JobManager / TaskManager 调优参数

你打算用在什么环境？（测试 / 生产 / 云）