Flink框架支持哪些数据源接入

flink数据源接入概览

• 内置源：无需额外依赖即可使用，适合测试与简单场景
  • 基于集合：如 fromCollection、fromElements、fromSequence，用于把本地集合/序列转为数据流，常用于本地调试。
  • 基于文件：如 readTextFile、readFile(FileInputFormat, …)，支持按行读取文本或自定义输入格式，可配置 PROCESS_CONTINUOUSLY / PROCESS_ONCE 两种处理模式与监测间隔，适配持续摄入与一次性读取。
  • 基于 socket：如 socketTextStream(host, port)，按行读取网络端口数据，适合轻量联调。
  • 并行性上，集合/socket 多为非并行，而文件/序列源可并行读取。
• 外部系统连接器（connector）：对接消息队列、数据库、云存储等生产系统，覆盖绝大多数实时/离线场景。
• 自定义源：实现 SourceFunction / ParallelSourceFunction / RichParallelSourceFunction，封装专有系统或特殊协议的读取逻辑。

常见内置数据源与典型场景

外部系统连接器与生态

• 消息队列
  • apache kafka：业界最常用实时数据源之一，提供高吞吐、可重放、容错消费能力；在 flink sql 中可通过设置 ‘connector’=‘kafka’ 与丰富的 scan.startup.mode（如 earliest-offset、latest-offset、group-offsets、timestamp、specific-offsets）控制起始位点；位点通常在 checkpoint 成功后提交到 kafka，保障一致性。
  • 其他队列如 pulsar、rabbitmq 等也有社区/厂商提供的连接器，可按需引入。
• 文件系统
  • 支持 本地 / hdfs / s3 / swift 等文件系统作为源，结合 textinputformat、parquet/orc 等格式，既可用于批处理，也可作为流式“日志/数据湖”摄入通道。
• 数据库与搜索/存储系统
  • 常见 jdbc（mysql、oracle 等） 源表用于维表/变更数据捕获（需配合维表缓存/回放策略）；
  • elasticsearch、hadoop filesystem 等更多见于 sink，也有部分场景作为源使用（如 es 的 scroll/scan）。
• 云与流数据服务
  • 如 amazon kinesis 等云上消息/日志服务，具备官方或社区维护的连接器。

自定义数据源与扩展

• 通过实现 sourcefunction（非并行）或 parallelsourcefunction / richparallelsourcefunction（并行）来自定义读取逻辑，适配专有协议、设备、传感器、遗留系统等。
• 也可将自定义源封装为 connector，纳入 flink 生态，便于复用与运维。

api 与版本提示

• flink 1.12 起引入流批统一的 new source 架构，常用 env.fromsource(…) 创建源；早期版本常用 env.addsource(…) 搭配 sourcefunction。
• 使用外部连接器（如 kafka）时，需引入对应版本的 flink-connector-kafka 依赖，并注意与 flink 版本匹配。