• 全部
  • 经验案例
  • 典型配置
  • 技术公告
  • FAQ
  • 漏洞说明
  • 全部
  • 全部
  • 大数据引擎
  • 知了引擎
产品线
搜索
取消
案例类型
发布者
是否解决
是否官方
时间
搜索引擎
匹配模式
高级搜索

pod使用iscsi的volume,Pod一直处于ContainerCreating状态。

2021-03-03提问
  • 0关注
  • 1收藏,1692浏览
粉丝:0人 关注:1人

问题描述:


pod使用iscsi的volume挂在共享存储,运行一段时间后出现Pod一直处于ContainerCreating状态。

  Warning  FailedMount  30m (x1172 over 1d)  kubelet, 10.2.66.2  Unable to mount volumes for pod "bigrc-4gvkb_default(c64ec2be-85ed-11ea-9884-f474882e6fa1)": timeout expired waiting for volumes to attach or mount for pod "default"/"bigrc-4gvkb". list of unmounted volumes=[mysql]. list of unattached volumes=[mysql default-token-w6z3w]

  Warning  FailedMount  24m (x1315 over 1d)  kubelet, 10.2.66.2  MountVolume.MountDevice failed for volume "mysql" : 'fsck' found errors on device /dev/disk/by-path/ip-8.8.8.8:***.***.lefthandnetworks:cd-lab:1426:bigmysql-lun-0 but could not correct them: fsck from util-linux 2.23.2

/dev/mapper/36a8494d100f659da186f377600000014: Superblock needs_recovery flag is clear, but journal has data.

/dev/mapper/36a8494d100f659da186f377600000014: Run journal anyway


请问什么原因导致这个问题出现?以及如何解决?

组网及组网描述:


最佳答案

粉丝:51人 关注:20人

MountDevice failed for volume "mysql" : 'fsck' found errors on device /dev/disk/by-path/ip-8.8.8.8:***.***.lefthandnetworks:cd-lab:1426:bigmysql-lun-0 but could not correct them: fsck from util-linux 2.23.2 这段报错说明pod挂载的共享文件系统有问题了,需要修复,建议400处理下。大致方法是停pod,fsck修复,再启动pod

嗯嗯,这个我理解,谢谢。但是我想知道什么情况会发生这样的事?

zhiliao_DehPFh 发表时间:2021-03-03

有可能是存储本身故障(硬件故障、软件故障),存储网络故障,恰好在这期间容器对存储卷有读写,文件系统就坏了

splendidr 发表时间:2021-03-03

好的,谢谢

zhiliao_DehPFh 发表时间:2021-03-03
2 个回答
粉丝:219人 关注:0人

在CloudOS5.0环境中遇到与POD状态异常,不为Running时,可用如下方式进行排查

过程分析

1、查看该pod异常的具体描述
kubectl describe pod -n xxxxnamespace xxxxxx
查看其中的event事件说明
2、查看cloudos5.0数据库状态是否正常
pod |grep maxscale
kubectl exec -it os-maxcale-xxxxx maxadmin list servers
对应的三个mysql节点为os-mysql-node1、os-mysql-node2、os-mysql-node3
3、查看环境中所有的网络服务,包括业务网,pod网络
svc 
oc get svc 
4、查看节点etcd日志
master-logs etcd etcd |less
master-logs etcd etcd 2>&1|less

解决方法

default命名空间中的关键pod说明,这些pod异常时会导致其他pod异常
default redis几个pod比较关键,redisoperator负责维护自己的redis集群,redisproxy负责对外提供服务
当redis异常后一般通过重启方式恢复,重启整个redis集群,redis-0,redis-1,redis-2
另外三个redis-xxxx为redis的哨兵,负责redis主从确认
重启完redis集群之后再重启redisoperator和redisproxy两个pod,重启过程较慢,大概几分钟


dll 九段
粉丝:57人 关注:5人

found errors on device /dev/disk/by-path/ip-8.8.8.8:***.***,这个存储卷有损坏,需要进行修复。

嗯嗯,这个我理解,谢谢。但是我想知道什么情况会发生这样的事?

zhiliao_DehPFh 发表时间:2021-03-03

编辑答案

你正在编辑答案

如果你要对问题或其他回答进行点评或询问,请使用评论功能。

分享扩散:

提出建议

    +

亲~登录后才可以操作哦!

确定

亲~检测到您登陆的账号未在http://hclhub.h3c.com进行注册

注册后可访问此模块

跳转hclhub

你的邮箱还未认证,请认证邮箱或绑定手机后进行当前操作

举报

×

侵犯我的权益 >
对根叔社区有害的内容 >
辱骂、歧视、挑衅等(不友善)

侵犯我的权益

×

泄露了我的隐私 >
侵犯了我企业的权益 >
抄袭了我的内容 >
诽谤我 >
辱骂、歧视、挑衅等(不友善)
骚扰我

泄露了我的隐私

×

您好,当您发现根叔知了上有泄漏您隐私的内容时,您可以向根叔知了进行举报。 请您把以下内容通过邮件发送到zhiliao@h3c.com 邮箱,我们会尽快处理。
  • 1. 您认为哪些内容泄露了您的隐私?(请在邮件中列出您举报的内容、链接地址,并给出简短的说明)
  • 2. 您是谁?(身份证明材料,可以是身份证或护照等证件)

侵犯了我企业的权益

×

您好,当您发现根叔知了上有关于您企业的造谣与诽谤、商业侵权等内容时,您可以向根叔知了进行举报。 请您把以下内容通过邮件发送到 zhiliao@h3c.com 邮箱,我们会在审核后尽快给您答复。
  • 1. 您举报的内容是什么?(请在邮件中列出您举报的内容和链接地址)
  • 2. 您是谁?(身份证明材料,可以是身份证或护照等证件)
  • 3. 是哪家企业?(营业执照,单位登记证明等证件)
  • 4. 您与该企业的关系是?(您是企业法人或被授权人,需提供企业委托授权书)
我们认为知名企业应该坦然接受公众讨论,对于答案中不准确的部分,我们欢迎您以正式或非正式身份在根叔知了上进行澄清。

抄袭了我的内容

×

原文链接或出处

诽谤我

×

您好,当您发现根叔知了上有诽谤您的内容时,您可以向根叔知了进行举报。 请您把以下内容通过邮件发送到zhiliao@h3c.com 邮箱,我们会尽快处理。
  • 1. 您举报的内容以及侵犯了您什么权益?(请在邮件中列出您举报的内容、链接地址,并给出简短的说明)
  • 2. 您是谁?(身份证明材料,可以是身份证或护照等证件)
我们认为知名企业应该坦然接受公众讨论,对于答案中不准确的部分,我们欢迎您以正式或非正式身份在根叔知了上进行澄清。

对根叔社区有害的内容

×

垃圾广告信息
色情、暴力、血腥等违反法律法规的内容
政治敏感
不规范转载 >
辱骂、歧视、挑衅等(不友善)
骚扰我
诱导投票

不规范转载

×

举报说明