测试信创环境 SkyWalking Horizon UI Helm 部署
记录时间:2026-11-17
环境:公司测试信创集群(ARM64 / RKE1 / K8s 1.28 / Helm 3),命名空间 monitoring
一、背景与目标
测试环境原来跑的是 9.3.0 的裸 YAML(OAP + UI + ES),这次要换成 Helm 管理,同时把 UI 换成 SkyWalking 11 的 Horizon UI。11.x 已经移除了旧 Web UI,Horizon 是唯一官方 UI,chart 也必须是 5.x,因为 4.9.0 的 ui 还是旧版 booster(8080 端口、SW_OAP_ADDRESS),不支持 Horizon。
存储我选了 chart 内置的 BanyanDB 单机模式,没有复用 ELK 的 ES。测试环境不想再给 SkyWalking 单独维护一套索引和生命周期,BanyanDB 跟着 chart 一起装,卸载也干净。
登录只保留 Horizon 自己的认证,没有再叠 Ingress basic auth。Horizon 是强制登录的,任何页面渲染前都要先认证,外面再加一层等于让用户验两次,没有意义。
二、环境与版本
| 组件 | 版本 | 镜像 |
|---|---|---|
| Helm chart | skywalking-helm 5.0.0 |
官方包,未修改 |
| OAP | 11.1.0 | reg-hub.gzeport.com/library/apache/skywalking-oap-server:11.1.0 |
| Horizon UI | horizon-1.1.0 | reg-hub.gzeport.com/library/apache/skywalking-ui:horizon-1.1.0 |
| BanyanDB | 0.11.2 | reg-hub.gzeport.com/library/apache/skywalking-banyandb:0.11.2 |
| 等待容器 | curl latest | curlimages/curl(节点预拉,不进 Harbor) |
我核对过 chart 5.0.0 的发布说明,标的组合是 OAP 11.0.0、Horizon 1.0.0、BanyanDB 0.11.0。我实际按 run.sh 已经同步到 Harbor 的 11.1.0、horizon-1.1.0、0.11.2 部署,接口一致,但属于 chart 未实测组合。真出现兼容问题,整体回退到实测三件套即可。
三、部署过程
3.1 镜像同步
skopeo copy --insecure-policy \
docker://d.ajunyunwei.xyz/apache/skywalking-oap-server:11.1.0 \
docker://reg-hub.gzeport.com/library/apache/skywalking-oap-server:11.1.0
skopeo copy --insecure-policy \
docker://d.ajunyunwei.xyz/apache/skywalking-ui:horizon-1.1.0 \
docker://reg-hub.gzeport.com/library/apache/skywalking-ui:horizon-1.1.0
skopeo copy --insecure-policy \
docker://d.ajunyunwei.xyz/apache/skywalking-banyandb:0.11.2 \
docker://reg-hub.gzeport.com/library/apache/skywalking-banyandb:0.11.2
注意:skopeo 不带
--all时只复制当前机器架构。我在 arm64 Mac 上执行,拿到的是 arm64 镜像;换到 x86 机器执行就会复制 amd64,集群起不来。要保留多架构就加--all。
curlimages/curl 不进 Harbor,chart 里写死了这个名字(没有 tag),只能在节点上预置:
docker pull --platform linux/arm64 curlimages/curl:latest
# 离线节点:联网机器 docker save,拷过去 docker load
3.2 命名空间与登录用户
Horizon 没有默认账号,未配置用户时登录页停在 setup-required,所以 Secret 要在部署前建好。
kubectl get ns monitoring >/dev/null 2>&1 || kubectl create namespace monitoring
kubectl -n monitoring create secret generic skywalking-horizon-auth \
--from-file=HORIZON_AUTH_LOCAL_USERS=./horizon-users.json \
--dry-run=client -o yaml | kubectl apply -f -
horizon-users.json 的内容是一行 JSON 数组,密码存 Argon2id 哈希,参数按 Horizon 要求 m=65536,t=3,p=4:
[{"username":"admin","passwordHash":"$argon2id$v=19$m=65536,t=3,p=4$...","roles":["admin"]}]
注意:本地用户是配置驱动的,
/admin/users页面只读,UI 里不能建号。多人使用要接 LDAP 或 OIDC,人员增删在目录侧完成。
3.3 values.yaml 关键配置
| 参数 | 值 | 说明 |
|---|---|---|
nameOverride / fullnameOverride |
test-skywalking |
资源名统一带 test 前缀,避免和集群里其他 SkyWalking 冲突 |
elasticsearch.enabled / postgresql.enabled |
false |
关闭 ECK 与 bitnami 依赖,避免额外拉外网镜像 |
oap.storageType |
banyandb |
必填项,无默认值 |
oap.replicas |
1 |
测试环境单副本 |
oap.javaOpts |
-Xms1g -Xmx1g |
容器上限 2Gi,堆不超过一半 |
banyandb.standalone.resources |
{key, value} 列表 |
子 chart 不认 K8s 标准 map,写成 map 会渲染失败 |
banyandb.standalone.httpSvc.type |
ClusterIP |
子 chart 默认 LoadBalancer,会卡 <pending> 或占用 MetalLB 地址 |
banyandb.storage.standalone |
100Gi / k8s-data |
渲染成 StatefulSet 的 volumeClaimTemplates |
ui.service.internalPort |
8081 |
chart 会作为 HORIZON_SERVER_PORT 传给容器 |
ui.readinessProbe |
/api/health:8081 |
换成公开健康端点;不要覆写 livenessProbe |
ui.ingress.annotations |
只有 kubernetes.io/ingress.class: nginx |
不做 basic auth,登录交给 Horizon |
3.4 部署
helm upgrade --install skywalking ./skywalking-helm-5.0.0.tgz \
-n monitoring --create-namespace -f values.yaml
部署后的启动顺序是固定的。BanyanDB 先 Ready,init Job 建 schema,OAP 才把 12800 端口打开,最后 UI Ready。OAP 以 -Dmode=no-init 启动,init Job 完成前 Pod 一直 NotReady,启动探针给了 300 秒,属于正常现象。
3.5 离线渲染校验
helm template skywalking ./skywalking-helm-5.0.0.tgz -n monitoring -f values.yaml \
--api-versions networking.k8s.io/v1/Ingress > /tmp/skywalking-rendered.yaml
注意:不加
--api-versions时,模板里的能力判断拿不到 v1,Ingress 会渲染成extensions/v1beta1,K8s 1.28 下 apply 会失败。这份渲染文件只看不 apply,真正部署交给 helm,Helm 会读集群能力。
四、验证
kubectl -n monitoring get pod,svc,pvc
kubectl -n monitoring get job
kubectl -n monitoring logs -f banyandb-0
kubectl -n monitoring logs -f job/test-skywalking-oap-init-<hash>
kubectl -n monitoring logs -f deploy/test-skywalking-oap
kubectl -n monitoring port-forward svc/test-skywalking-ui 18081:80
curl -s -o /dev/null -w '%{http_code}\n' http://127.0.0.1:18081/api/health
我按上面的命令逐个看了一遍,全部通过:
| 对象 | 实测结果 |
|---|---|
banyandb-0 |
1/1 Running |
test-skywalking-oap |
1/1 Running |
test-skywalking-oap-init-76384835-xdzr5 |
Completed |
test-skywalking-ui |
1/1 Running |
| 4 个 Service | test-skywalking-oap、test-skywalking-ui、banyandb-grpc、banyandb-http |
| PVC | standalone-data-banyandb-0 为 Bound,100Gi |
/api/health |
返回 200 |
应用侧也接上了。Java 启动参数加 -Dskywalking.collector.backend_service=test-skywalking-oap.monitoring.svc.cluster.local:11800 后,Horizon 里能看到服务、RPM 和调用数据,说明 Agent 到 OAP 再到 BanyanDB 的采集路径是通的。浏览器访问 https://test.skywalking.gzeport.com 能正常登录,服务列表有数据。
五、遇到的问题
5.1 BanyanDB resources 写成标准 map,渲染直接报错
第一版 values 我按 K8s 习惯写了:
resources:
requests:
cpu: "1"
memory: 2Gi
helm template 报 can't evaluate field key in type interface {}。翻 standalone_statefulset.yaml 才看到模板是 range 列表后取 $request.key,子 chart 要求的是 {key, value} 列表:
resources:
requests:
- key: cpu
value: "2"
- key: memory
value: 4Gi
5.2 覆写 ui.livenessProbe 生成非法探针
chart 5.0.0 本身有默认 livenessProbe(tcpSocket: page)。我又加了一个 httpGet 的 livenessProbe,Helm 对 map 做深合并,两个字段同时保留,渲染出同时含 httpGet 和 tcpSocket 的探针,apply 会被拒绝。只保留 readiness 覆盖,liveness 用 chart 默认值。
5.3 Ingress 渲染成 extensions/v1beta1
helm template 不连集群时,模板里的 networking.k8s.io/v1/Ingress 能力判断为假,Ingress 走了 v1beta1 分支。加上 --api-versions networking.k8s.io/v1/Ingress 后恢复为 v1。真正部署用 helm 不受影响。
5.4 chart 硬编码 curlimages/curl
_helpers.tpl 里 BanyanDB 的等待容器写死了 image: curlimages/curl,没有 tag,也没有 values 开关。节点上预拉 latest 后,IfNotPresent 命中,init 正常跑起来。这个方案依赖节点状态,节点扩容后要重新预置。
5.5 banyandb-http 默认是 LoadBalancer
第一次部署后 Service 列表里 banyandb-http 是 LoadBalancer,EXTERNAL-IP 一直 pending。我只需要集群内访问,在 values 里显式设 standalone.httpSvc.type: ClusterIP,重新 upgrade 生效。
六、注意事项
- 不要再加 Ingress basic auth。Horizon 登录是强制的,外层再加 basic auth 会让用户验证两次。
- Horizon 的用户和角色都是配置文件驱动,
/admin/users只读,UI 里不能建号。需要多人使用就切 LDAP 或 OIDC。 - chart 5.1.0 只存在于 master,
helm pull --version 5.1.0会失败,可用版本是 5.0.0。 - 升级 chart 后要重新检查 values,特别是 BanyanDB 子 chart 的 resources 格式。
- 回退口径:
oap.image.tag=11.0.0、ui.image.tag=horizon-1.0.0、banyandb.image.tag=0.11.0。