排查步骤如下：
1. 控制台登录检查服务状态
接显示器键盘或串口登录，执行 systemctl status nginx、systemctl status tomcat（或对应Web/审计服务），看是否退出或僵死。
执行 df -h 和 df -i，确认根分区或日志分区是否被写满导致服务无法响应。
执行 free -m 看内存是否耗尽，top 看是否有进程占用CPU/内存异常。
2. 检查网络接入后的流量冲击
接入现网后，镜像/分光流量可能瞬间增大，导致审计日志写入量暴增，磁盘IO打满或日志分区写满。
执行 iostat -x 1 10 观察磁盘利用率，dmesg | tail -50 看是否有IO错误或文件系统报错。
3. 检查端口监听状态
ss -lntp | grep -E '443|60000' 确认服务是否还在监听。若监听存在但不响应，可能是连接数耗尽或防火墙规则变更。
ss -s 看当前TCP连接数，netstat -an | grep 443 | wc -l 统计连接数是否异常。
4. 检查现网是否有地址冲突或ARP攻击
在交换机上查看该管理地址的ARP表项是否稳定，是否存在MAC漂移。
抓包看是否有大量异常流量指向AK640管理口，导致CPU软中断过高。
5. 日志分析
重点查看 /var/log/messages、nginx/服务自身日志，搜索故障时间点前后的error或OOM关键字。
若日志分区满，先清理归档旧日志再重启服务验证。
处理建议：
接入现网前，先评估镜像流量规模，必要时在AK640上配置流量过滤或限速。
将日志存储与系统盘分离，设置日志轮转和容量告警。
若确认是磁盘写满导致，扩容存储或缩短日志保留周期。
升级AK640系统版本到最新，排除已知bug。
核心根因分析（按概率排序）
1、硬盘 / 文件系统存在隐性损坏（最高概率）
救援模式已经报过系统文件读取错误，说明磁盘 / 文件系统已有潜在坏块、XFS 文件系统损伤。
- 单机空载：几乎不做日志写入，磁盘 IO 压力很小，坏块没有被触发，系统表现完全正常。
- 接入现网：大量 syslog 日志持续写入磁盘，触发损坏扇区；文件系统发生 IO 错误，日志采集、web 后台服务进程崩溃退出。网络层面 ping 通只代表内核网络栈还活着，但业务组件（443/60000 端口对应的 csap 服务）已经异常终止，端口不再监听。
典型特征：ping 通，端口不通，重启后又短暂恢复，接入业务流量一段时间复现。
2、业务日志流量冲击，打满磁盘空间
接入现网后海量 syslog 日志涌入，/data 数据分区 100% 占满；磁盘写满后平台业务组件直接异常退出，Web 服务停止，SSH 一般还可以连通，ICMP ping 正常。单机空载无日志写入，磁盘不会占满，看不出问题。
3、大流量日志冲击 CPU / 内存，OOM 杀死业务进程
现网大量设备推送 syslog，CPU、内存跑满，系统 OOM 机制杀掉 csap‑web、采集组件；内核网络还存活，可 ping，业务端口消失。单机空载无流量，资源充足，运行正常。
排除点：如果 SSH 后台也连不上，则偏向硬件磁盘故障；本例只是 web 端口不通，一般内核还正常。
现场排查操作（故障复现时执行，尽量不要直接重启）
故障发生时优先通过 SSH 后台登录（SSH 默认 22 端口，不受 web 故障影响），一旦重启现场证据丢失。
- 查看磁盘使用率
df -h
看/、/data分区是否 100%。如果 100%，就是日志打满磁盘。
- 查看端口监听，确认 443、60000 是否消失
netstat -antp | grep -E "443|60000"
ss -antp | grep -E "443|60000"
故障状态下，这两个端口无 LISTEN，代表 web 业务进程已经 crash 退出。
- 查看系统内核日志，确认磁盘 IO 报错、OOM 杀进程
journalctl -k -b -e
dmesg
重点搜索关键字：ioerr、xfs、oom‑killer。
- 出现 xfs/ioerr：磁盘 / 文件系统硬件层面问题；
- 出现
Out‑of‑memory: Killed process：内存耗尽 OOM 杀死业务进程。
- 查看平台组件日志
tail -200 /var/log/messages
tail -200 /opt/csap‑logaudit‑ckla/logs/csap‑web.log
- 磁盘健康检测
smartctl -a /dev/sda
查看硬盘 SMART 信息，看是否有坏扇区、错误计数增长。
对应处理方案
场景 A：dmesg 报 XFS/IO 读写错误，救援模式曾经报文件读取错误（磁盘隐性损坏）
- 先备份现有配置，导出资产、策略；硬盘存在隐患，数据存在丢失风险。
- 进入救援模式执行文件系统修复：
xfs_repair -L /dev/mapper/xxx #对应实际系统分区，不要随意执行，优先联系400指导
- 如果 smart 检测硬盘报错，硬盘硬件故障，需要更换硬盘，重装 CSAP‑SA 系统。仅修复文件系统，坏道还会复现故障。
场景 B：df‑h 看到 /data 分区 100% 占满（日志打满磁盘）
- 临时清理旧日志释放空间：
#清理core转储、异常日志
rm -rf /data/Adapter/core*
rm -rf /opt/csap‑logaudit‑ckla/logs/error*
- 优化配置：
- 调整各设备 syslog 发送速率，不要短时间爆发大量日志；
- 在审计平台配置日志存储配额、自动删除旧日志，防止再次打满磁盘；
- 不要把大量未规划设备直接接入采集。
场景 C：OOM‑killer 杀死 csap 业务进程（内存不足，日志流量过大）
- 评估接入资产数量是否超过 AK640 规格；AK640 最大支持 500 个资产采集点，超限会出现稳定性问题H3C。
- 限流：交换机、防火墙调低 syslog 发送频率，关闭不必要的调试级别日志，只推送告警、重要级别日志。
- 升级到官方最新 E6101P0x 补丁版本，老版本存在大流量下内存泄漏 bug。
临时验证手段（定位是流量还是硬件问题）
- 接入网络，先不要接入任何日志源（关闭所有设备 syslog 指向 AK640），运行观察。
- 如果可以稳定运行不故障：问题来自日志流量冲击（磁盘打满 / OOM）；
- 如果即使没有日志源接入，仍然约 1 天就故障：硬盘硬件 / 文件系统问题，优先返修更换硬盘。
重要提醒
此设备已经出现过系统文件读取错误，代表存储介质可靠性已经下降，即便临时修复，依然有再次故障风险。建议收集 dmesg、smart、df、netstat 输出，拨打 H3C 400‑810‑0504，提交日志工单定位，必要时申请硬件检测 / 更换硬盘H3C。
暂无评论
编辑答案
亲~登录后才可以操作哦!
确定你的邮箱还未认证，请认证邮箱或绑定手机后进行当前操作
举报
×
侵犯我的权益
×
侵犯了我企业的权益
×
- 1. 您举报的内容是什么？（请在邮件中列出您举报的内容和链接地址）
- 2. 您是谁？（身份证明材料，可以是身份证或护照等证件）
- 3. 是哪家企业？（营业执照，单位登记证明等证件）
- 4. 您与该企业的关系是？（您是企业法人或被授权人，需提供企业委托授权书）
抄袭了我的内容
×
原文链接或出处
诽谤我
×
- 1. 您举报的内容以及侵犯了您什么权益？（请在邮件中列出您举报的内容、链接地址，并给出简短的说明）
- 2. 您是谁？（身份证明材料，可以是身份证或护照等证件）
对根叔社区有害的内容
×
不规范转载
×
举报说明
暂无评论