某局点onestor升级过程提示Prometheus服务异常

某个局点onestor升级过程中，再次下发升级指令提示Prometheus服务异常

1、从升级日志提示，去对应节点查看Prometheus的服务，发现Prometheus-cluster服务在反复重启，

2、查看Prometheus的服务日志，在故障时间点可以看到组件在打开某个数据块报错，提示时间跳跃

3、这个是Prometheus的已知问题，时间跳变导致存在相同时间区间的数据块，从而引发prometheus-cluster进程不断重启，监控数据显示异常。

删除对应时间区间的数据块

1. 删除异常data目录下数据。

• 对于prometheus-node进程，使用如下命令进行删除。

• # mkdir prometheus_node_bak
• # cp -rf /opt/h3c/var/lib/prometheus_node/data/* prometheus_node_bak
• # rm –rf /opt/h3c/var/lib/prometheus_node/data/*

• 对于prometheus-cluster进程，使用如下命令进行删除。

• # mkdir prometheus_cluster_bak
• # cp -rf /opt/h3c/var/lib/prometheus_cluster/data/* prometheus_cluster_bak
• # rm –rf /opt/h3c/var/lib/prometheus_cluster/data/*

2. 重启prometheus进程。

执行如下命令重启prometheus-node进程：# supervisorctl restart prometheus-node。

执行如下命令重启prometheus-cluster进程：# supervisorctl restart prometheus-cluster。

重启完成后检查对应的服务是否还在反复重启，如果没有重启再执行升级指令即可