监控数据占据大量IO资源

Viewed 54

生产环境中有22台物理机都装了categraf,n9e往prometheus发送数据的时候,是不是会和prom建立大量线程?categraf数越多prom线程数越多?
因为监控上线后,发现在一个监控周期下会大量占用存储的IO资源,都是prom的线程占用较大,iostat吞吐平均150M/s
image.png
image.png
image.png
image.png

2 Answers

可以看下 Prometheus 自身的 metrics 指标,看看是不是上报的指标量有很多,可以用下这个指标 prometheus_tsdb_head_samples_appended_total
increase(prometheus_tsdb_head_samples_appended_total [1m])

平均9w多,没什么概念...