categraf 开启mtail后资源消耗大且分析指标数据不准(相比mtail单独运行)

Viewed 101

背景:
使用categraf all in one能力实现服务器日志分析和资源监控。categraf采集的数据推送给nserver。

版本和配置:

  • categraf v0.3.10-66162961a1c34baab4e5d06ba00953f34eb4554f
    image.png
    采集频率为60s

  • 夜莺版本:5.8.0

  • mtail:3.0.0-rc48

问题:
使用同样的mtail解析文件,分析同样的日志
1)categraf消耗更多的CPU资源,在关闭mtail日志分析后,资源消耗较少。独立运行mtail分析其资源消耗较少。
image.png


2)categraf分析出来的日志指标数据统计不准(远远小于使用mtail单独分析要少);

  • 采用mtail单独分析,分析了几分钟指标数据以及累计2000多了(这个数量和实际匹配日志条数接近)
    image.png
  • 采用categraf分析,分析了一晚上指标数据才这一点
    image.png
1 Answers

我之前也碰到过这个情况,把mtial写精准些就可以了,不然log目录里的log多起来,就会有这个情况
image.png

我是拿同样的规则,一个用categraf跑,一个直接用mtail跑,资源消耗差别很多,关键是指标数据也不对。

我的夜莺版本是6.0.0-ga.7,categraf-v0.3.3,没有你说的这个问题呀
你看下夜莺监控指标的汇总值