Print
知

统一数字底盘bireport pod重启

5天前 发表

问题描述

8443首页看到bireport pod存在频繁重启现象。

过程分析

原因:报表容器服务启动会遍历文件FD,部分处理时间过长导致超过探针存活时间,导致pod重启

涉及版本:底盘E7401以前的xc版本

解决方法

解决版本:底盘E7401

规避手段:

进入报表容器

kubectl exec -it $(kubectl get pod -n service-software | grep itom-bireport | awk '{print$1}') -n service-software -- /bin/bash

因探针影响,下面操作需要快速,否则pod将会重启,如果重启,则重新执行

查看celery 进程

ps -aux |grep celery |grep worker

Kill图片中的所有进程

kill -9 109 284 285 (进程号有可能会实时变化)

确保执行完后ps -aux |grep celery |grep worker没有进程即可

执行ulimit -n 65535

重新启动进程

执行命令

celery --app=superset.tasks.celery_app:app worker -O fair -l INFO -c 2 --max-tasks-per-child 10 --detach

重新执行ps -aux |grep celery |grep worker 存在3进程且pod不重启即修改完毕