Logstash Doris output plugin 的配置不支持 max_retries
前因
因查看Logstash发现大量错误日志显示:
Status: Label Already Exists
Message: [LABEL_ALREADY_EXISTS]TStatus: errCode = 2, detailMessage = Label [logstash_log_db_logstash_nginx_log_20250808_031305_273_627f31ac-5d0c-460c-9d26-11d00d4c4c41] has already been used, relate to txn [2538570], status [VISIBLE].
于是乎查看官方文档进行添加部分参数,切根据当前版本:
- doris 2.1.10
- logstash 7
- Logstash Doris output plugin 1.0
参考doris手册:https://doris.apache.org/zh-CN/docs/ecosystem/logstash#%E5%8F%82%E6%95%B0%E9%85%8D%E7%BD%AE
添加参数:
max_retries => 5
label_prefix => "logstash_nginx"
发现问题出在Logstash配置中的 max_retries
参数上。错误日志显示:
[2025-08-11T11:54:08,733][ERROR][logstash.outputs.doris ]
Unknown setting 'max_retries' for doris
这个表示听疑惑了,根据官方文件进行的参数修改?还是有这个问题。
解决
参考:https://github.com/apache/doris/issues/49815
根据github上的issues看到有人4月有人提过,居然文档还是有max_retries
参数就….算了,踩坑了。
然后再根据源码查看也和issues提出的一致,https://github.com/apache/doris/blob/2.1.10-rc01/extension/logstash/lib/logstash/outputs/doris.rb
# 设置最大重试次数,避免无限重试
# max_retries => 5
retry_count => 5