知

某局点H3Cloud OS首页显示状态400错误

CloudOS

2020-04-28 发表

0关注
0收藏 1545浏览

李树兵

李树兵七段

粉丝：4人关注：0人

组网及说明

略。

问题描述

某局点H3Cloud OS E3106H01 登录首页时显示状态400的错误，其中influxdb-nginx pod 处于CrashLoopBackOff状态，显示截图如下：

过程分析

经远程查看为现场一个node 节点的ntpd服务未启动导致与其他两个节点的时间不一致。时间不一致导致此节点的flanneld地址与docker的bip不一致，进而导致pod异常。远程查看的命令如下：

ansible all –m shell –a ‘cat /run/flannel/subnet.env && ps -ef | grep bip ’

解决方法

解决方法：

第一步：开启异常节点的ntpd服务: systemctl start ntpd && systemctl enable ntpd

第二步：慢慢等待时间同步，一般ntpd是慢慢的同步，可以等待他们慢慢同步时间。

第三步：重启有异常pod，待所有pod都正常running之后问题解决。

注意：

遇到Cloud OS的问题，可以先从以下几方面检查：

1.节点之间网络通信是否正常，可以通过各个节点上使用ping测试，也可以使用ansible命令去进行测试，测试命令为ansible all -m ping，如果显示结果都是绿色，说明节点之间通信正常；

2.各个节点的时间是否一致，可以通过ansible命令统一查看，在任意节点上执行 ansilbe all -m shell -a "data" ，即可查看各个节点的时间，确定时间是否一致；

3.各个节点的k8s基本服务是否正常运行，k8s的基础服务包括docker服务、flannel服务、kubelet服务、kube-apiserver服务、kube-scheduler服务、kube-controller-manager服务、etcd服务、kube-proxy服务、其中除kube-scheduler和kube-controller-manager只运行在其中一个节点上之外，其他服务都需要在各个节点上正常运行；

4.服务器的CPU是否有降频，具体请参考《关于服务器CPU降频导致CloudOS 3.0概率性环境异常的技术公告》

5.Flannel的地址与docker的bip是否一致，查看方法如下： ansible all –m shell –a ‘cat /run/flannel/subnet.env && ps -ef | grep bip ’ ，具体看

[root@heccloud01 ~]# cat /run/flannel/subnet.env && ps -ef | grep bip

FLANNEL_NETWORK=10.101.0.0/16

FLANNEL_SUBNET=10.101.44.1/24

FLANNEL_MTU=1500

FLANNEL_IPMASQ=false

root 3323 1 32 May20 ? 2-17:47:24 /usr/bin/dockerd -H tcp://0.0.0.0:2375 -H unix:///var/run/docker.sock --insecure-registry=172.25.18.103:9999 --bip=10.101.44.1/24 --mtu=1500 --storage-driver=devicemapper --storage-opt dm.datadev=/dev/centos/data --storage-opt dm.metadatadev=/dev/centos/metadata --log-opt max-size=1g --log-opt max-file=2

root 32322 17022 0 17:14 pts/2 00:00:00 grep --color=auto bip

6.重启有问题的pod，H3Cloud OS中大多数pod都是无状态的（除mysql、redis数据库、postgresql数据库），可以通过kubelet delete pod xxx（具体的pod名字）删除，之后系统会自动创建一个新的pod；

7.通过kubectl describe和kubectl logs 查看有问题pod的具体日志；

8.查看每个节点的各个分区是否有占满情况，可以在各个节点使用df -Th 查看分区使用情况，使用 df -i 查看inode表占用情况。

该案例对您是否有帮助：

您的评价：1

若您有关于案例的建议，请反馈：

0 个评论

该案例暂时没有网友评论

编辑评论

侵犯我的权益 >

对根叔知了社区有害的内容 >

辱骂、歧视、挑衅等（不友善）

侵犯我的权益

泄露了我的隐私 >

侵犯了我企业的权益 >

抄袭了我的内容 >

诽谤我 >

辱骂、歧视、挑衅等（不友善）

骚扰我

泄露了我的隐私

您好，当您发现根叔知了上有泄漏您隐私的内容时，您可以向根叔知了进行举报。请您把以下内容通过邮件发送到zhiliao@h3c.com 邮箱，我们会尽快处理。

1. 您认为哪些内容泄露了您的隐私？（请在邮件中列出您举报的内容、链接地址，并给出简短的说明）
2. 您是谁？（身份证明材料，可以是身份证或护照等证件）

侵犯了我企业的权益

您好，当您发现根叔知了上有关于您企业的造谣与诽谤、商业侵权等内容时，您可以向根叔知了进行举报。请您把以下内容通过邮件发送到 zhiliao@h3c.com 邮箱，我们会在审核后尽快给您答复。

1. 您举报的内容是什么？（请在邮件中列出您举报的内容和链接地址）
2. 您是谁？（身份证明材料，可以是身份证或护照等证件）
3. 是哪家企业？（营业执照，单位登记证明等证件）
4. 您与该企业的关系是？（您是企业法人或被授权人，需提供企业委托授权书）

我们认为知名企业应该坦然接受公众讨论，对于答案中不准确的部分，我们欢迎您以正式或非正式身份在根叔知了上进行澄清。

抄袭了我的内容

原文链接或出处

诽谤我

您好，当您发现根叔知了上有诽谤您的内容时，您可以向根叔知了进行举报。请您把以下内容通过邮件发送到zhiliao@h3c.com 邮箱，我们会尽快处理。

1. 您举报的内容以及侵犯了您什么权益？（请在邮件中列出您举报的内容、链接地址，并给出简短的说明）
2. 您是谁？（身份证明材料，可以是身份证或护照等证件）

我们认为知名企业应该坦然接受公众讨论，对于答案中不准确的部分，我们欢迎您以正式或非正式身份在根叔知了上进行澄清。

对根叔知了社区有害的内容

垃圾广告信息

色情、暴力、血腥等违反法律法规的内容

政治敏感

不规范转载 >

辱骂、歧视、挑衅等（不友善）

骚扰我

诱导投票

不规范转载

举报说明

✖

案例意见反馈

➤

网站相关: 关于我们; 服务条款; 帮助中心; 经验与权限; 积分规则

联系我们: 联系我们; 建议反馈

常用链接: 知了APP下载; 标杆的神器下载

关注我们: H3C官网; 新华三服务公众号; 安仔远程运维服务; 新华三商城

内容许可: 除特别说明外，用户内容均可采用知识共享署名-相同方式共享3.0中国大陆许可协议进行许可

本图标版权归新华三集团所有，仅限本社区使用，切勿用做商业目的，违者必究

浙ICP备09064986号-1 浙公网安备 33010802004416号

✖

亲~登录后才可以操作哦!

确定

✖

亲~检测到您登陆的账号未在http://hclhub.h3c.com进行注册

注册后可访问此模块

跳转hclhub

✖

你的邮箱还未认证，请认证邮箱或绑定手机后进行当前操作

✖

产品线		搜索取消
案例类型
发布者
是否解决
是否官方
时间
搜索引擎
匹配模式	默认策略匹配全词匹配整句

某局点H3Cloud OS首页显示状态400错误

组网及说明

问题描述

过程分析

解决方法

编辑评论

提出建议