CentOS Dolphin脚本编写入门

CentOS Dolphin脚本编写入门指南

一、基础脚本编写

1. Shell脚本基础

   • 使用文本编辑器（如vim）创建脚本文件，例如dolphin_script.sh，开头需指定解释器：

     #!/bin/bash
     # 示例：启动DolphinScheduler服务
     /opt/dolphinscheduler/bin/dolphinscheduler-daemon.sh start standalone-server
     

   • 赋予执行权限：chmod +x dolphin_script.sh，运行脚本：./dolphin_script.sh。

2. 参数化脚本

   • 通过$1、$2等获取参数，例如编写启动/停止脚本：

     #!/bin/bash
     DS_HOME=/opt/dolphinscheduler
     case $1 in
         start)
             $DS_HOME/bin/dolphinscheduler-daemon.sh start standalone-server
             ;;
         stop)
             $DS_HOME/bin/dolphinscheduler-daemon.sh stop standalone-server
             ;;
         *)
             echo "Usage: $0 {start|stop}"
             exit 1
     esac
     

二、DolphinScheduler自动化任务

1. 调度Python脚本

   • 先编写Python脚本（如data_process.py），再在DolphinScheduler的Web界面中创建任务：
     • 选择“Python”任务类型，上传脚本路径，设置参数（如输入文件路径、输出路径）和定时规则（如每天凌晨执行）。

2. 集群部署脚本

   • 编写脚本批量配置DolphinScheduler集群节点，例如同步配置文件：

     #!/bin/bash
     # 同步配置文件到集群节点
     for node in node1 node2 node3; do
         scp /opt/dolphinscheduler/conf/application.yaml $node:/opt/dolphinscheduler/conf/
     done
     

三、进阶技巧

1. 日志与监控

   • 在脚本中重定向输出到日志文件，例如：

     ./dolphin_script.sh > /var/log/dolphin.log 2>&1 &
     

   • 通过DolphinScheduler的“监控”功能查看任务执行日志。

2. 定时任务集成

   • 结合crontab实现周期性执行，例如每天凌晨执行数据同步脚本：

     crontab -e
     # 添加以下内容（每天0点执行）
     0 0 * * * /path/to/dolphin_script.sh
     

四、注意事项

• 脚本中路径需与实际安装路径一致，可通过echo $DS_HOME动态获取环境变量。
• 复杂任务建议使用DolphinScheduler的可视化工作流设计，避免脚本逻辑过于冗长。

参考资料：