Flink框架的安装与配置步骤是什么

Apache Flink 是一个分布式流处理框架，支持批处理和流处理。以下是 Flink 框架的安装与配置步骤（以 单机模式 和 集群模式（Standalone） 为主，适用于 Linux / macOS / Windows）。

一、环境准备

1. 系统要求

• Linux / macOS / Windows
• Java 8 或 Java 11（推荐 Java 8）
• 至少 4GB 内存（生产环境建议更高）

2. 安装 Java

java -version

若无 Java，可安装：

# Ubuntu
sudo apt install openjdk-8-jdk

二、下载并安装 Flink

1. 下载 Flink

官网地址：

https://flink.apache.org/downloads/

示例（Flink 1.17.0）：

wget https://archive.apache.org/dist/flink/flink-1.17.0/flink-1.17.0-bin-scala_2.12.tgz

2. 解压

tar -zxvf flink-1.17.0-bin-scala_2.12.tgz
cd flink-1.17.0

目录结构：

flink-1.17.0/
├── bin/        # 启动脚本
├── conf/      # 配置文件
├── lib/       # 依赖库
├── log/       # 日志

三、单机模式（Local Mode）

适合学习、测试

1. 启动 Flink

./bin/start-cluster.sh

2. 访问 Web UI

http://localhost:8081

3. 停止 Flink

./bin/stop-cluster.sh

四、Standalone 集群模式（伪分布式 / 多节点）

1. 修改配置文件

（1）conf/flink-conf.yaml

jobmanager.rpc.address: localhost
taskmanager.numberOfTaskSlots: 2
parallelism.default: 2

说明：

• jobmanager.rpc.address：JobManager 地址
• taskmanager.numberOfTaskSlots：每个 TaskManager 的 slot 数

（2）conf/workers（旧版本为 slaves）

localhost

多节点示例：

node1
node2
node3

2. 启动集群

./bin/start-cluster.sh

查看进程：

jps

应看到：

• StandaloneSessionClusterEntrypoint（JobManager）
• TaskManagerRunner

五、提交 Flink 作业

1. 提交示例作业

./bin/flink run examples/streaming/WordCount.jar

2. 查看运行结果

• Web UI → Jobs
• 或查看日志：

tail -f log/flink-*-taskexecutor-*.log

六、YARN / Kubernetes（可选）

1. YARN 模式（常见生产环境）

前提：已安装 Hadoop YARN

./bin/flink run -m yarn-cluster examples/streaming/WordCount.jar

2. Kubernetes（Flink Native K8s）

kubectl apply -f flink-configuration-configmap.yaml
kubectl apply -f jobmanager-deployment.yaml
kubectl apply -f taskmanager-deployment.yaml

七、常见配置参数说明

八、常见问题

1. 端口被占用

修改 conf/flink-conf.yaml：

rest.port: 8082

2. Java 版本不兼容

• Flink 1.14+ 支持 Java 11
• Flink 1.17 推荐 Java 8 / 11

九、总结

✅ 安装步骤概览：

1. 安装 Java
2. 下载并解压 Flink
3. 配置 flink-conf.yaml
4. 启动集群
5. 提交作业

✅ 适用场景：

• 本地学习 → Local 模式
• 测试环境 → Standalone
• 生产环境 → YARN / Kubernetes

如果你需要 Flink + Kafka / HDFS / MySQL 集成配置，或 有具体操作系统（如 CentOS、Windows），可以告诉我，我可以提供更详细的配置示例。