DolphinScheduler 海豚调度 简单部署-快速上手
记录前因
之前去线下交流的时候,就听过DolphinScheduler
因为最近没大数据的生产环境玩,就自己私下了解了解然后做个快速体验上手记录罢了。
再有一个原因可能是生产的定时任务太多了,看看能不能都集中起来使用。也算是了解了解一下。
概述
Apache DolphinScheduler 是一个分布式易扩展的可视化 DAG 工作流任务调度开源系统。适用于企业级场景,提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。
软硬件环境建议配置
参考官网:https://dolphinscheduler.apache.org/zh-cn/docs/3.1.8/about/hardware
安装DolphinScheduler
模块介绍
- dolphinscheduler-master master模块,提供工作流管理和编排服务。
- dolphinscheduler-worker worker模块,提供任务执行管理服务。
- dolphinscheduler-alert 告警模块,提供 AlertServer 服务。
- dolphinscheduler-api web应用模块,提供 ApiServer 服务。
- dolphinscheduler-common 通用的常量枚举、工具类、数据结构或者基类。
- dolphinscheduler-dao 提供数据库访问等操作。
- dolphinscheduler-remote 基于 netty 的客户端、服务端。
- dolphinscheduler-service service模块,包含Quartz、Zookeeper、日志客户端访问服务,便于server模块和api模块调用。
- dolphinscheduler-ui 前端模块。
部署(单机版)
参考:https://dolphinscheduler.apache.org/zh-cn/docs/3.1.8/guide/installation/standalone
安装版本为3.1.8
,以下内容均以此版本进行说明。
前置准备
- JDK:下载JDK (1.8+),安装并配置 JAVA_HOME 环境变量,并将其下的 bin 目录追加到 PATH 环境变量中。如果你的环境中已存在,可以跳过这步。
-
二进制包:在下载页面下载 DolphinScheduler 二进制包
下载可以到清华源下载:
https://mirrors.tuna.tsinghua.edu.cn/apache/dolphinscheduler/3.1.8/
解压并启动 DolphinScheduler
二进制压缩包中有 standalone 启动的脚本,解压后即可快速启动。
# 解压并运行 Standalone Server
tar -xvzf apache-dolphinscheduler-*-bin.tar.gz
cd apache-dolphinscheduler-*-bin
bash ./bin/dolphinscheduler-daemon.sh start standalone-server
登录 DolphinScheduler
浏览器访问地址 http://localhost:12345/dolphinscheduler/ui
即可登录系统web
默认的用户名和密码是
admin/dolphinscheduler123
启停服务
脚本 ./bin/dolphinscheduler-daemon.sh
除了可以快捷启动 standalone 外,还能停止服务运行,全部命令如下
# 启动 Standalone Server 服务
bash ./bin/dolphinscheduler-daemon.sh start standalone-server
# 停止 Standalone Server 服务
bash ./bin/dolphinscheduler-daemon.sh stop standalone-server
# 查看 Standalone Server 状态
bash ./bin/dolphinscheduler-daemon.sh status standalone-server
配置数据库
Standalone server 使用 H2 数据库作为其元数据存储数据,这是为了上手简单,用户在启动服务器之前不需要启动数据库。但是如果用户想将元数据库存储在 MySQL 或 PostgreSQL 等其他数据库中,他们必须更改一些配置。
参考:https://github.com/apache/dolphinscheduler/blob/3.1.8-release/docs/docs/zh/guide/howto/datasource-setting.md
参考
1.https://dolphinscheduler.apache.org/zh-cn/docs/3.1.8/guide/start/quick-start
2.https://github.com/apache/dolphinscheduler/blob/3.1.8-release/docs/docs/zh/