• 全部
  • 经验案例
  • 典型配置
  • 技术公告
  • FAQ
  • 漏洞说明
  • 全部
  • 全部
  • 大数据引擎
  • 知了引擎
产品线
搜索
取消
案例类型
发布者
是否解决
是否官方
时间
搜索引擎
匹配模式
高级搜索

cloudos2.0的rabbitmq存储卷占满的一种处理方法 (二)

2020-10-03 发表
  • 0关注
  • 0收藏 2341浏览
粉丝:32人 关注:8人

组网及说明

 不涉及

问题描述

cloudos2.0的1139H06及之前版本存在一个已知问题:rabbitmp存储卷中保存的消息队列的信息不能及时删除导致rabbitmq的存储卷占满100%的情况。 前台表现:界面上执行任务卡住(如新建中、重启中、删除中等任务卡住的情况),严重的会导致cloudos的前台界面无法登陆。 



过程分析

cloudos2.0的1139H06及之前版本存在一个已知问题:rabbitmp存储卷中保存的消息队列的信息不能及时删除导致rabbitmq的存储卷占满100%的情况。后台表现:在rabbitmq卷的如下路径下有多17M大小的rdq的文件,导致该卷占满。


解决方法

1、临时解决

A、先进行查看环境中前台其他的pod是否是running的,如不是,请及时处理; 

B、命令cat /opt/bin/common/link_templet.sh看一下,是否是以uuid的方式挂载的。如下截图的查看结果是以uuid的方式挂载的。


C、如果cat /opt/bin/common/link_templet.sh的查看结果不是以uuid挂载的,df -h看一下,记录一下rabbitmq卷的挂载点,如下截图


D、使用/opt/bin/kubectl -s 127.0.0.1:8888 scale --replicas=0 rc rabbitmqrc命令,将rabbitmq的 pod置0,暂停这个pod。

E、如果是uuid方式挂载的,使用如下命令将rabbitmq的卷格式化:  mkfs.ext4 /dev/disk/by-uuid/790467a9-3398-44fe-be36-8b9686ffa33e(步骤B中,查到的rabbitmq挂载卷的uuid) 

F、如果是py-path的方式挂载的,使用如下命令将rabbitmq的卷格式化: mkfs.ext4 /dev/mapper/RabbitMQ(步C中查到的rabbitmq挂载的路径),具体如下截图。 


G、使用/opt/bin/kubectl -s 127.0.0.1:8888 scale --replicas=1 rc rabbitmqrc命令,将rabbitmq的 pod置1,启动这个pod。   

H、等大概2分钟,等rabbitmq的pod起来之后,/opt/bin/kubectl --server=127.0.0.1:8888 get pod -o wide命令看一下,所有的pod是否都是runnning的。

I、 重新检查cloudos相关功能是否恢复。 

2、彻底解决

CloudOS E1139H07版本增加了及时删除rabbitmq队列消息的策略,可以升级至该版本。



该案例对您是否有帮助:

您的评价:1

若您有关于案例的建议,请反馈:

1 个评论
粉丝:19人 关注:0人

补充 by-uuid方式不建议格式化存储 可能会出现格式化之后无法挂载的情况

编辑评论

举报

×

侵犯我的权益 >
对根叔知了社区有害的内容 >
辱骂、歧视、挑衅等(不友善)

侵犯我的权益

×

泄露了我的隐私 >
侵犯了我企业的权益 >
抄袭了我的内容 >
诽谤我 >
辱骂、歧视、挑衅等(不友善)
骚扰我

泄露了我的隐私

×

您好,当您发现根叔知了上有泄漏您隐私的内容时,您可以向根叔知了进行举报。 请您把以下内容通过邮件发送到zhiliao@h3c.com 邮箱,我们会尽快处理。
  • 1. 您认为哪些内容泄露了您的隐私?(请在邮件中列出您举报的内容、链接地址,并给出简短的说明)
  • 2. 您是谁?(身份证明材料,可以是身份证或护照等证件)

侵犯了我企业的权益

×

您好,当您发现根叔知了上有关于您企业的造谣与诽谤、商业侵权等内容时,您可以向根叔知了进行举报。 请您把以下内容通过邮件发送到 zhiliao@h3c.com 邮箱,我们会在审核后尽快给您答复。
  • 1. 您举报的内容是什么?(请在邮件中列出您举报的内容和链接地址)
  • 2. 您是谁?(身份证明材料,可以是身份证或护照等证件)
  • 3. 是哪家企业?(营业执照,单位登记证明等证件)
  • 4. 您与该企业的关系是?(您是企业法人或被授权人,需提供企业委托授权书)
我们认为知名企业应该坦然接受公众讨论,对于答案中不准确的部分,我们欢迎您以正式或非正式身份在根叔知了上进行澄清。

抄袭了我的内容

×

原文链接或出处

诽谤我

×

您好,当您发现根叔知了上有诽谤您的内容时,您可以向根叔知了进行举报。 请您把以下内容通过邮件发送到zhiliao@h3c.com 邮箱,我们会尽快处理。
  • 1. 您举报的内容以及侵犯了您什么权益?(请在邮件中列出您举报的内容、链接地址,并给出简短的说明)
  • 2. 您是谁?(身份证明材料,可以是身份证或护照等证件)
我们认为知名企业应该坦然接受公众讨论,对于答案中不准确的部分,我们欢迎您以正式或非正式身份在根叔知了上进行澄清。

对根叔知了社区有害的内容

×

垃圾广告信息
色情、暴力、血腥等违反法律法规的内容
政治敏感
不规范转载 >
辱骂、歧视、挑衅等(不友善)
骚扰我
诱导投票

不规范转载

×

举报说明

提出建议

    +

亲~登录后才可以操作哦!

确定

亲~检测到您登陆的账号未在http://hclhub.h3c.com进行注册

注册后可访问此模块

跳转hclhub

你的邮箱还未认证,请认证邮箱或绑定手机后进行当前操作