vm集群负载不均衡问题

Viewed 56

基本信息:5台16c 32G虚拟机组成的VM集群,每台上都有vmstorage、vmselect和vminsert,通过nginx做的负载均衡。版本号:v1.87.0-cluster-0-g00a6ec85c。
现状:其中4台RAM使用率在50%左右,但有1台RAM使用率80%,CPU使用率5台是均衡的。重启这台机器,内存使用率也会慢慢上升到80%,nginx上insert和select摘除这台机器内存使用率也不会下降。系统层面看的这台机器的78%内存是被vmstorage占用。有人能提供一个排查思路吗?

1 Answers

应该找到答案了,查看http://<vmstorage>:8482/metrics 发现process_cpu_cores_available 和process_memory_limit_bytes 的数据跟当前的配置有差异。意识到可能是升级配置没有重启vmstorage导致的,重启vmstorage, 4台内存使用率不高的机器的内存使用率得到提升。