ONEstor+E3362版本升级+预检查报错

## 一、优先基础排查（按顺序执行）

### 1、集群内部网络连通性（最高概率）

handy 走**集群内部存储 / 管理互联网络**，不是业务网。

1. 在主节点 ssh 登录，ping 报错节点 IP，确认丢包；
2. 检查集群节点之间防火墙、iptables，handy 默认使用内部端口；**节点之间不能开启 iptables 过滤集群内部网段**。

```
#查看iptables规则
iptables -nvL
#临时清空测试（生产谨慎，确认集群网段）
iptables -F
```

3. 检查节点之间是否存在大时延、丢包：

```
ping x.x.x.x
mtr x.x.x.x
```

>
> 集群内部网络抖动、丢包，会直接造成 handy 调用超时。

### 2、检查报错节点 handy 服务运行状态

登录报错节点（x.x.x.x）

```
#查看handy服务状态
systemctl status handy
```

现象分三种：
1）`active (running)`：服务正常运行，问题偏向**网络、端口监听、资源负载高**；
2）`failed`/`inactive(dead)`：handy 服务异常停止，需要重启；
3）服务反复 crash，反复重启，需要收集 handy 日志。

**重启 handy 服务**

```
systemctl restart handy
systemctl enable handy
```

重启完成等待 2‑3 分钟，重新执行预检查：

```
upgrade online check
```

### 3、确认 handy 端口正常监听

```
ss -tlnp | grep handy
```

>
> 必须看到 handy 进程在本地 127.0.0.1 以及集群内部 IP 监听端口；

- 如果只监听 127.0.0.1：集群其它节点无法访问，预检查直接报 timed out；
- 如果完全没有监听：服务未正常启动，看 handy 日志定位 crash 根因。

### 4、节点系统资源高负载（CPU / 内存过高）

handy 采集信息时，如果节点 CPU、内存打满，handy 响应慢触发超时。

```
top
free -h
df -h
```

- CPU 长期 > 90%，内存耗尽，磁盘分区 100% 占满，都会导致 handy 接口响应超时。

>
> 检查根分区、/var 日志分区使用率，日志打满会导致各类内部服务异常。

## 二、查看 handy 日志，定位根本原因

```
#handy主日志
journalctl -u handy -f
#日志文件路径
/var/log/handy/
```

重点看日志关键字：`bind`、`listen`、`oom‑kill`、`panic`、`connection refused`。

常见日志对应根因：

1. `OOM‑kill`：内存不足，系统杀掉 handy 进程 → 处理内存压力，再重启 handy；
2. `address already in use`：端口被其它进程占用 → 排查占用进程，释放端口；
3. 大量 connection reset：集群网络不稳定；
4. 反复启动失败：配置文件损坏，需要 400 协助修复 handy 配置。

## 三、临时规避手段（不推荐长期，仅紧急测试）

>
> ⚠️不代表消除底层故障，仅用来验证是否仅超时阈值问题，正式升级前必须根因修复。

1. 确认集群业务 IO 压力低，业务无高峰；
2. 所有节点 handy 服务确认 running，网络无丢包；
3. 重新执行预检查`upgrade online check`。

>
> **严禁直接跳过预检查执行 upgrade online run**，预检查 handy 是升级前置强校验，跳过会引发升级过程节点异常。

## 四、收集信息提交 H3C 400 支持

如果重启 handy、修复网络后依旧超时，需要收集以下信息开 case：

1. 集群版本 `cat /ONEstor/version`；
2. 预检查完整输出日志；
3. 报错节点：`systemctl status handy`输出；
4. handy 日志目录`/var/log/handy/*`打包；
5. mtr 集群节点互联网络结果；
6. `df -h`、`top`资源快照。

## 高频踩坑总结

1. 集群内部节点之间 iptables / 防火墙拦截 handy 端口（最常见）；
2. handy 服务 crash 停止，没有对外监听集群 IP；
3. 节点 CPU / 内存 / 磁盘满，handy 接口响应慢超时；
4. 集群内网有丢包、时延大；
5. 个别节点时间和集群其它节点时间差过大，导致内部 RPC 调用异常，同步所有节点系统时间。

>
> 时间同步检查：所有集群节点必须统一 NTP 时间

```
chronyc sources
date
```