Doris Manager Web部署

介绍

Doris Manager Web Server

Doris Manager Web 服务是 Manager 网页服务器的服务端，同时也是整个 Doris Manager 实现自动运维管理Apache Doris、SelectDB Doris 集群的核心模块。主要的功能包括：

管控 Doris 集群，包括部署、托管、扩容、缩容、升级、配置修改、重启等管控操作；
提供网页端访问的服务 API；
存储 Doris Manager 所有业务功能的元数据；
提供 Doris 集群运维监控告警组件功能；
提供自然人访问 Doris Manager 的用户认证系统，同时实现了基于 Doris 集群功能管理的权限系统；
通过 Agent 统一管理系统中的 Doris 集群节点，并下发管控指令到 Agent。

Doris Manager Agent

通过 Doris Manager 管控的 Doris 集群，需要在每个 Doris 集群节点上安装一个常驻的 Agent 进程，Agent 默认的端口是8972，跟 Doris Manager Web 服务所在的机器必须网络联通。Agent 主要的功能包括：

接收 Doris Manager Web 服务侧下发的管控命令，执行并返回执行结果；
收集 Doris Cluster 节点主机的监控指标，并主动汇报给 Doris Manager Web 服务侧的监控组件存储；
定时向 Doris Manager Web 服务汇报 Doris Cluster 节点上主机和 Doris 进程的心跳信息。

安装前准备

参考官方部署文档：https://doris.apache.org/zh-CN/docs/install/preparation/env-checking

使用虚拟机

操作系统：Rocky Linux release 8.10 (Green Obsidian)

测试环境验证：分别一台Doris Manager web servier，一台fe节点，三台be节点

FE 节点的数量

FE 角色分为 Follower 和 Observer，（Leader 为 Follower 组中选举出来的一种角色，以下统称 Follower）。
FE 节点数据至少为1（1 个 Follower）。当部署 1 个 Follower 和 1 个 Observer 时，可以实现读高可用。当部署 3 个 Follower 时，可以实现读写高可用（HA）。
Follower 的数量必须为奇数，Observer 数量随意。
根据以往经验，当集群可用性要求很高时（比如提供在线业务），可以部署 3 个 Follower 和 1-3 个 Observer。如果是离线业务，建议部署 1 个 Follower 和 1-3 个 Observer。

在部署 Doris 时，需要对以下操作系统项进行检查

确保关闭 swap 分区
确保系统关闭透明大页
确保系统有足够大的虚拟内存区域
确保 CPU 不使用省电模式
确保网络连接溢出时自动重置新连接
确保 Doris 相关端口畅通或关闭系统防火墙
确保系统有足够大的打开文件句柄数
确定部署集群机器安装 NTP 服务

部分参数设置

# 查看是否支持 AVX2 指令集
cat /proc/cpuinfo | grep avx2

# 关闭防火墙
systemctl stop firewalld
systemctl disable firewalld

# 关闭SELinux
cat /etc/selinux/config
setenforce 0 && sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config && getenforce
cat /etc/selinux/config

# 关闭 swap 分区
swapoff -a && sudo sed -i '/swap/s/^/#/' /etc/fstab

# 关闭透明大页
echo madvise > /sys/kernel/mm/transparent_hugepage/enabled
echo madvise > /sys/kernel/mm/transparent_hugepage/defrag
cat >> /etc/rc.d/rc.local << EOF
echo madvise > /sys/kernel/mm/transparent_hugepage/enabled
echo madvise > /sys/kernel/mm/transparent_hugepage/defrag
EOF
chmod +x /etc/rc.d/rc.local

# 设置打开文件句柄数
cp -a /etc/security/limits.conf  /etc/security/limits.conf.backup
cat >> /etc/security/limits.conf << EOF
* soft nofile 65535
* hard nofile 65535
* soft nproc 65565
* hard nproc 65565
EOF

# 足够大的虚拟内存区域
# 网络连接溢出时自动重置新连接
cp -a /etc/sysctl.conf  /etc/sysctl.conf.bak
echo "vm.max_map_count=2000000"  >> /etc/sysctl.conf
echo "vm.swappiness=0" >> /etc/sysctl.conf
echo "vm.overcommit_memory=1" >> /etc/sysctl.conf
echo "net.ipv4.tcp_abort_on_overflow=1" >> /etc/sysctl.conf
sysctl -p

时间同步一致设置

Doris 的元数据要求时间精度要小于5000ms，所以所有集群所有机器要进行时钟同步，避免因为时钟问题引发的元数据不一致导致服务出现异常。

# 安装chrony
dnf install chrony

#配置Chrony
#备份
cp /etc/chrony.conf /etc/chrony.conf_bak

# 修改配置，因为我是内网配置，如果能访问外网可忽略此步骤，直接重启服务即可
vi /etc/chrony.conf 
server 192.168.111.150 iburst

#启用 Chrony 服务
sudo systemctl restart chronyd
sudo systemctl enable chronyd
chronyc -a makestep

部署 Doris Manager Web 服务

安装包下载和说明

下载地址

https://selectdb.com/download/enterprise#manager(opens in a new tab)

安装

参考：https://docs.selectdb.com/docs/enterprise/cluster-manager-guide/deployment-guide/deployment-guide-24.x

安装包: doris-manager-24.1.4-x64-bin.tar.gz

# 安装包解压
tar -zxvf doris-manager-24.1.4-x64-bin.tar.gz

# 修改安装包目录名称
mv doris-manager-24.1.4-x64-bin doris-manager

# 进入安装路径
cd doris-manager


# 配置Web服务（自行选择配置）
读取安装目录中 webserver 路径下的 conf/manager.conf 文件

# 启动 Web 服务
# 在 webserver 目录直接运行脚本：
sh bin/start.sh

# 访问 Web 服务
直接通过浏览器输入 URL——http://{Web服务机器IP}:{Web服务端口}，比如 http://192.168.111.150:8004

参考：https://docs.selectdb.com/docs/enterprise/cluster-manager-guide/deployment-guide/deployment-guide-24.x

注意自行修改此路径，后续会用到

点击 启动 Doris Manager ，提示正在启动 Doris Manager。

启动成功后，提示用户 进入 Doris Manager 。直接通过浏览器输入 URL——http://{Web服务机器IP}:{Web服务端口}，比如 http://192.168.111.150:8004

部署 Doris Manager Agent

参考：https://docs.selectdb.com/docs/enterprise/cluster-manager-guide/deployment-guide/deployment-guide-24.x

下载doris

下载地址：https://doris.apache.org/zh-CN/download

通过cat /proc/cpuinfo|grep avx2检查确认下，如果无内容返回，那就是不支持avx2指令集，用于区分下载版本。

发送评论编辑评论