温馨提示×

在CentOS上部署Dolphin的注意事项

小樊
39
2025-12-21 16:40:57
栏目: 智能运维

在 CentOS 上部署 Dolphin 的注意事项

一 明确目标与版本

  • “Dolphin”在运维与大数据场景中通常指两类不同产品:一是任务调度平台 Apache DolphinScheduler,二是文件管理器 Dolphin(KDE)。两者在 CentOS 上的部署要点完全不同,务必先确认目标再执行。
  • 若指的是 DolphinScheduler:在 CentOS 7.x 上的兼容性与生态支持更成熟;在 CentOS 8.x 上常见的问题是默认 Python 版本为 3.x 而部分旧任务脚本或依赖仍要求 Python 2.7,需要额外准备 Python 2.7 或做兼容改造。
  • 若指的是 Dolphin(KDE 文件管理器):可通过 EPEL/Remi 仓库或源码编译安装,但 CentOS 多为服务器版,默认缺少 GUI 与图形会话,不适合作为常规桌面使用。

二 部署 Apache DolphinScheduler 的关键要点

  • 运行环境与基础组件
    • JDK 1.8+ 必装并正确设置 JAVA_HOME;数据库可选 PostgreSQL 8.2.15+MySQL 5.7+(如用 MySQL,建议驱动 5.1.47+);集群协调用 ZooKeeper 3.4.6+;资源存储可选 Hadoop 2.6+ / MinIO / 本地目录;数据同步可选 DataX。注意:DolphinScheduler 本身不依赖 Hadoop/Hive/Spark,仅在任务执行时调用其客户端。
  • 系统与权限
    • 建议创建专用部署用户(如 ds),并配置 sudo 免密;因任务以 sudo -u {linux-user} 切换不同系统用户运行,缺少免密会导致作业无法切换执行身份。
    • 各节点间需配置 SSH 免密(包括本机对本机),否则安装/启动阶段资源分发与节点注册会失败。
  • 数据库与连接
    • 初始化数据库(字符集建议 utf8),并按所选数据库类型配置连接串与驱动;使用 MySQL 时,需将对应版本的 JDBC 驱动 jar 放入 lib/ 目录。
  • 资源存储与安全
    • 若启用资源上传,需为部署用户授予对 本地文件系统 / HDFS / MinIO 的操作权限;在多租户场景下,按业务最小权限原则分配。
  • 部署路径与目录权限
    • 安装目录避免放在 /root /home 等高权限或易变动位置,建议使用 /opt/dolphinscheduler 等统一目录,并修正属主属组为部署用户。

三 部署 Dolphin(KDE 文件管理器)的注意点

  • 适用场景与限制
    • DolphinKDE 桌面环境的文件管理器,依赖 X11/Wayland 与完整的 GUI 会话;CentOS 服务器版通常未安装 GUI,直接部署意义不大,除非你为桌面环境或远程桌面(如 VNC/XRDP)准备。
  • 安装方式与依赖
    • 可通过 EPEL/Remi 仓库或源码编译安装;若采用源码编译,需准备 Qt5 相关开发库(如 qt5-qtbase-devel 等)。
  • 远程访问建议
    • 如确需使用图形界面,建议配置 VNCXRDP 远程桌面,并在会话中启动 Dolphin;命令行环境无法提供良好体验。

四 常见问题与快速排查

  • SSH 免密未生效:切换到部署用户后执行 ssh localhost 仍提示输入密码,需检查 ~/.ssh/authorized_keys 权限为 600、属主正确,且各节点间双向免密已配置。
  • 数据库初始化或连接失败:确认数据库版本与字符集、驱动版本与放置路径(MySQL 需将 mysql-connector-java 放入 lib/)、连接串参数(SSL、时区等)是否正确。
  • 资源上传失败:核对部署用户对 本地/HDFS/MinIO 的权限策略与目录 ACL,确保服务进程可写。
  • Python 版本不兼容:在 CentOS 8 上遇到脚本要求 Python 2.7 的情况,可选择安装 Python 2.7 或统一迁移脚本与依赖到 Python 3.x

0