• 全部
  • 经验案例
  • 典型配置
  • 技术公告
  • FAQ
  • 漏洞说明
  • 全部
  • 全部
  • 大数据引擎
  • 知了引擎
产品线
搜索
取消
案例类型
发布者
是否解决
是否官方
时间
搜索引擎
匹配模式
高级搜索

cas虚拟机资源占100%,点进去就卡死

2天前提问
  • 0关注
  • 0收藏,81浏览
粉丝:0人 关注:0人

问题描述:

cas突然发现不少虚拟机内存和cpu占100% 点虚拟机不能进去入,信息时整个cas系统都会卡死 看cvk存储信息一直缓冲看不见 给虚拟机关机提示错误机:关闭VM-Python1“电源失败。原因:Failed to terminate process 1478 with SIGKILL: Device or resource busy

组网及组网描述:

cas 6.0

2 个回答
粉丝:0人 关注:0人

先看看是什么进程消耗了这么多资源,是租户业务需要的资源给开小了还是安装的什么进程占了大量资源

回复night_mare:

kill不了看看能不能把这个服务重启下,然后找找这个服务配置文件在哪,能不能把资源大小给限制住,如果不行可以搞个定时任务,时不时的给重启下,当然确定这个服务干啥的能直接解决肯定更好

zhiliao_HQPDm8 发表时间:2天前 更多>>

进后台看这个进程名叫KVM_PIT 但是KILL 不掉它

night_mare 发表时间:2天前
回复night_mare:

kill不了看看能不能把这个服务重启下,然后找找这个服务配置文件在哪,能不能把资源大小给限制住,如果不行可以搞个定时任务,时不时的给重启下,当然确定这个服务干啥的能直接解决肯定更好

zhiliao_HQPDm8 发表时间:2天前
粉丝:139人 关注:9人

排查建议:

 核心问题分析

1. 资源耗尽引发平台卡死
 CPU/内存100%:通常由底层资源争抢或僵尸进程导致,需检查:

 top或htop查看具体占用资源的进程(特别注意异常Python/Java进程)

 /var/log/messages或journalctl中是否有OOM(内存溢出)记录

 存储IO延迟(iostat x 1查看%util是否持续100%


2. 虚拟机无法关闭的报错
 "Device or resource busy" 表明进程被锁死,可能因为:

 存储响应超时(如共享存储断连或OCFS2阻塞)

 虚拟机进程(kvm)僵死,需强制清理:

 查找虚拟机进程ID
virsh list all
 强制销毁进程

virsh destroy VM_NAME


3. 存储访问异常
 CVK存储信息缓冲:检查存储健康状态:

 执行 multipath ll 查看多路径状态

 检查 /var/log/ocfs2_ 日志是否有I/O错误

 验证存储网络连通性(ping存储IP


 紧急恢复步骤

1. 隔离故障主机
 将未受影响的虚拟机迁移出当前主机

 重启宿主机释放资源(若HA未触发需手动操作)


2. 关键日志收集
 CVM日志:/var/log/tomcat8/cas.log
 CVK日志:

 虚拟化层:/var/log/libvirt/libvirtd.log
 存储:/var/log/syslog/var/log/messages
 进程:/var/log/caslog/

3. 存储专项检查
 检查文件系统状态

ocfs2_controld status
 检查存储心跳

o2hb listnodes


 深度排查方向
1. 资源冲突检测
 运行 dmesg T | grep i 'error\|timeout' 检查内核级错误

 使用 strace p <PID 分析卡死进程的系统调用


2. 中毒可能性
 检查异常定时任务(crontab l

 扫描异常网络连接(netstat antp | grep EST


 重要提示:若存储出现持续超时(如OCFS2日志报"heartbeat timeout"),需立即协调存储团队联合排查,防止数据损坏。


建议优先收集上述日志并重启故障主机以快速恢复业务,如仍无法解决,请拨打 4008100504 提供日志文件以便深度分析。

编辑答案

你正在编辑答案

如果你要对问题或其他回答进行点评或询问,请使用评论功能。

分享扩散:

提出建议

    +

亲~登录后才可以操作哦!

确定

亲~检测到您登陆的账号未在http://hclhub.h3c.com进行注册

注册后可访问此模块

跳转hclhub

你的邮箱还未认证,请认证邮箱或绑定手机后进行当前操作

举报

×

侵犯我的权益 >
对根叔社区有害的内容 >
辱骂、歧视、挑衅等(不友善)

侵犯我的权益

×

泄露了我的隐私 >
侵犯了我企业的权益 >
抄袭了我的内容 >
诽谤我 >
辱骂、歧视、挑衅等(不友善)
骚扰我

泄露了我的隐私

×

您好,当您发现根叔知了上有泄漏您隐私的内容时,您可以向根叔知了进行举报。 请您把以下内容通过邮件发送到pub.zhiliao@h3c.com 邮箱,我们会尽快处理。
  • 1. 您认为哪些内容泄露了您的隐私?(请在邮件中列出您举报的内容、链接地址,并给出简短的说明)
  • 2. 您是谁?(身份证明材料,可以是身份证或护照等证件)

侵犯了我企业的权益

×

您好,当您发现根叔知了上有关于您企业的造谣与诽谤、商业侵权等内容时,您可以向根叔知了进行举报。 请您把以下内容通过邮件发送到 pub.zhiliao@h3c.com 邮箱,我们会在审核后尽快给您答复。
  • 1. 您举报的内容是什么?(请在邮件中列出您举报的内容和链接地址)
  • 2. 您是谁?(身份证明材料,可以是身份证或护照等证件)
  • 3. 是哪家企业?(营业执照,单位登记证明等证件)
  • 4. 您与该企业的关系是?(您是企业法人或被授权人,需提供企业委托授权书)
我们认为知名企业应该坦然接受公众讨论,对于答案中不准确的部分,我们欢迎您以正式或非正式身份在根叔知了上进行澄清。

抄袭了我的内容

×

原文链接或出处

诽谤我

×

您好,当您发现根叔知了上有诽谤您的内容时,您可以向根叔知了进行举报。 请您把以下内容通过邮件发送到pub.zhiliao@h3c.com 邮箱,我们会尽快处理。
  • 1. 您举报的内容以及侵犯了您什么权益?(请在邮件中列出您举报的内容、链接地址,并给出简短的说明)
  • 2. 您是谁?(身份证明材料,可以是身份证或护照等证件)
我们认为知名企业应该坦然接受公众讨论,对于答案中不准确的部分,我们欢迎您以正式或非正式身份在根叔知了上进行澄清。

对根叔社区有害的内容

×

垃圾广告信息
色情、暴力、血腥等违反法律法规的内容
政治敏感
不规范转载 >
辱骂、歧视、挑衅等(不友善)
骚扰我
诱导投票

不规范转载

×

举报说明