CentOS Dolphin与其他存储系统的集成

CentOS上Dolphin与存储系统的集成指南

一、先明确Dolphin的类型

• Dolphin：KDE Plasma 的默认文件管理器，侧重桌面文件操作与网络共享访问。
• DolphinScheduler：分布式工作流调度平台，涉及工作流资源与数据的存储后端集成（如 HDFS、S3、OSS 等）。
• DolphinDB：分布式时序数据库，关注节点数据目录、日志与存储卷配置。 下文按这三类分别给出在 CentOS 上的集成要点与关键配置。

二、Dolphin文件管理器与CentOS及网络存储的集成

• 安装与默认设置
  • 安装：在 CentOS 7 用 EPEL：sudo yum install -y epel-release && sudo yum install -y dolphin；在 CentOS 8+ 用 DNF：sudo dnf install -y dolphin。
  • 设为默认文件管理器：xdg-mime default dolphin.desktop inode/directory application/x-gnome-saved-search。
  • 扩展插件：sudo yum install -y dolphin-plugins，在“设置→配置 Dolphin→插件”启用所需功能（如终端集成、预览、分屏等）。
• 与网络/对象存储的访问
  • SMB/CIFS 共享：通过“网络→添加网络位置/Samba 共享”，以 smb://<server>/<share> 访问；需确保系统已安装并启用 Samba 客户端（cifs-utils）。
  • NFS 共享：将远端导出挂载到本地目录（如 /mnt/nfs），Dolphin 直接访问挂载点；建议在 /etc/fstab 配置自动挂载（使用 vers=4.2 等合适选项）。
  • 对象存储（S3/OSS 等）：Dolphin 本体不内置 S3 协议支持，可借助 FUSE 工具（如 s3fs、rclone mount）将桶挂载为本地目录后访问；注意凭证与权限配置、缓存与并发写入策略。

三、DolphinScheduler在CentOS与存储后端的集成

• 支持的后端与典型场景
  • 资源与文件存储：LOCAL、HDFS、S3、OSS、GCS、ABS、OBS、COS（插件化统一接口，便于在不同存储间切换）。
  • 元数据存储：MySQL 5.7+ 或 PostgreSQL 8.2.15+（作为系统元数据库）。
• 快速配置示例
  • HDFS
    • 配置 common.properties：resource.storage.type=HDFS，resource.hdfs.fs.defaultFS=hdfs://<namenode>:8020，resource.hdfs.root.user=<hdfs-user>；如启用 Kerberos，增加 resource.hdfs.kerberos.enable=true 及 principal/keytab 配置。
  • S3 或兼容对象存储（含火山引擎 TOS）
    • 配置 common.properties：resource.storage.type=S3，并在 Hadoop 配置中注册实现类与参数（示例以 TOS 为例）：
      • fs.tos.impl=io.proton.fs.ProtonFileSystem
      • fs.AbstractFileSystem.tos.impl=io.proton.fs.ProtonFS
      • fs.tos.endpoint=<region>.volces.com，fs.tos.region=<region>
      • fs.tos.access-key-id=<AK>，fs.tos.secret-access-key=<SK>
    • 将对应实现依赖（如 Proton Hadoop3 Bundle）放入 api-server、worker-server 的 libs/ 目录，重启服务生效。
• 部署与一致性要点
  • 多节点部署需使用共享存储（如 HDFS 或 S3），避免 LOCAL 导致节点间资源不一致。
  • 所有节点（API/Worker 等）的 common.properties 存储配置需保持一致；为运行用户授予目标存储的读写权限（HDFS 用户或云存储 Bucket 策略）。
  • 云存储密钥遵循最小权限原则，建议通过加密或环境变量管理，定期轮换。

四、DolphinDB在CentOS与存储的集成

• 安装与运行形态
  • RPM 安装：sudo yum install dolphindb-<version>.rpm -y；或 Docker 运行：docker run -d --name dolphindb -p 8848:8848 dolphindb/dolphindb。
• 存储与文件系统建议
  • 数据与日志分离：为 元数据、redo log、数据实体 配置不同磁盘/卷，优先 SSD 提升吞吐与稳定性。
  • 文件系统：推荐 XFS（支持动态调整 inode）；避免不支持硬链接的文件系统（如 BeeGFS）以免影响更新性能。
  • 容量与 inode：通过 xfs_info 与 df -i 检查 inode 使用，必要时调整 XFS 的 inode 比例，防止“磁盘未满但无法写入”。