CloudOS 7.0 驻场运维

CloudOS 7.0 驻场运维快速补齐指南
结合驻场高频场景，从巡检、告警处理、二线升级、周边能力四个维度整理可直接落地的知识清单，帮你快速上手。
一、日常巡检：标准流程 + 必查项
1. 平台内置巡检（优先用）
入口：服务集市 → 云运维 → 系统巡检 → 一键巡检 / 定时巡检
配置：可设置邮件接收报告，建议每日定时执行（早班 9 点前）
必看要点：
主机信息：CPU / 内存使用率（超 80% 标异常）、磁盘使用率、NTP 时间同步
服务状态：核心组件（如计算、存储、网络、数据库服务）是否正常运行
异常提示：CPU / 内存超 80% 时，先区分业务高峰期还是长期瓶颈
2. 手动补充巡检（覆盖平台盲区）
表格
检查维度 操作步骤 判定标准
硬件健康 登录各节点服务器，查看 RAID 状态、硬盘告警、温度、风扇 无硬盘离线 / 损坏，温度 / 风扇正常
存储连接 检查存储多路径、PV/PVC 状态、挂载情况 路径正常，无挂载异常
容器 / VM 状态 查看容器 / 虚拟机存活、资源占用、重启次数 无异常重启，资源无超配
网络连通 Ping 核心网关 / 业务 IP，检查链路状态 丢包率 < 0.1%，时延正常
日志健康 查看系统日志（/var/log/messages）、告警日志 无 ERROR 级报错
3. 巡检报告闭环
下载 PDF 报告，分类记录：必解决问题（如硬盘故障）、需关注问题（如 CPU 长期 75%）、误报
每日巡检完成后，同步驻场团队，重大问题立即上报二线
二、告警处理：标准 SOP + 常见场景
1. 告警处理全流程（驻场必背）
接收告警：通过平台声音 / 邮件 / 钉钉通知，打开监控告警页面（服务集市 → 云运维 → 告警中心 → 监控告警）
确认告警：查看告警详情（级别、类型、节点、时间），先确认业务是否受影响
操作规范：
接手：确认处理人，标记 “有人处理”
挂起：临时无需处理（如非核心服务告警），可选 12 小时 / 1 天 / 3 天
误报：确认无影响后标记，避免重复上报
催单：紧急告警（如业务中断）催促处理人
处理恢复：解决后取消告警，记录处理过程（命令、配置、结果）
归档：保留告警历史（平台默认保留 6 个月），便于复盘
2. 高频告警快速处理（附命令 / 操作）
表格
告警类型 常见现象 快速处理步骤
主机 CPU / 内存高 告警提示使用率超 80% 1. 查看进程：top/htop；2. 终止非核心进程；3. 长期高则申请扩容
磁盘空间不足 磁盘使用率超 85% 1. 清理日志：rm -rf /var/log/*.log；2. 删除无用文件；3. 扩容磁盘
存储连接异常 存储路径 Down、PV 异常 1. 检查多路径：multipath -ll；2. 重启存储服务；3. 联系存储二线
网络不通 业务 IP Ping 不通 1. 检查链路状态；2. 查看防火墙 / ACL 配置；3. 测试端口连通性
证书过期 组件通信失败（如 Harbor） 1. 查看证书有效期：openssl x509 -in 证书路径 -noout -dates；2. 更新证书
3. 升级二线触发条件
无法解决的场景：硬件故障（如 RAID 重建失败、硬盘损坏）、系统内核崩溃、组件大面积故障、业务中断超 10 分钟
升级内容：提供完整告警信息（告警编号、节点、时间、报错日志）、已做操作（命令、配置）、业务影响范围
三、周边能力：快速补全驻场必备
1. 账号与权限管理
账号创建 / 修改：运营管理员 → 组织管理 → 成员管理，设置强密码（大小写 + 数字 + 符号，8 位以上）
权限分配：按角色分配（运营管理员 / 组织管理员 / 项目用户），避免超权访问
密码重置：云主机 → 更多 → 修改密码；系统组件密码按《管理员及网络设备密码修改操作指导》执行
2. 资源管理
云主机操作：启动 / 停止 / 重启 / 销毁（销毁前必卸载磁盘、备份数据）
存储管理：挂载 / 卸载云硬盘、扩容 PV/PVC（参考《管区存储 PV 扩容指导》）
裸金属管理：重建裸金属（更换镜像、修改描述）、查看硬件配置
3. 故障应急
节点启动异常：进入紧急模式后，用dmesg/cat /var/log/messages查故障分区，执行e2fsck修复
服务故障：停止 / 启动核心服务（服务与组件 → 服务列表），查看服务日志定位原因
数据备份：按业务要求备份云主机、数据库、配置文件，定期验证恢复有效性
四、官方资料：必存必看
运维指南：H3C CloudOS 7.0 运维指南（E7108-5W106）—— 核心操作手册
故障处理：H3C CloudOS 7.0 故障处理手册（E7108-5W104）—— 各类故障排查步骤
巡检指导：H3C CloudOS 7.0 巡检指导（VM / 容器架构版）—— 详细巡检项
告警参考：H3C CloudOS 7.0 告警信息参考 —— 告警含义与处理建议
应急恢复：H3C CloudOS 7.0 应急故障恢复指导 —— 重大故障恢复流程
五、驻场实战技巧
建立每日巡检台账：记录巡检结果、告警处理、问题进展，便于追溯
整理常见问题 FAQ：将高频告警、操作步骤汇总成文档，快速查阅
主动沟通：每日与业务方同步平台状态，提前预警潜在问题（如资源不足）
学习路径：先掌握平台内置巡检和告警处理，再深入故障排查和资源管理，最后熟悉官方资料

一、核心文档速览（必读）

1. 基础运维文档：
   • 用户手册：重点关注《H3C CloudOS7.0云操作系统 用户指南》，这是最基础的操作指南
   • 维护手册：《H3C CloudOS7.0云操作系统 维护手册》中详细描述了日常巡检、备份恢复等关键操作
   • 高危操作手册：《H3C CloudOS7.0云操作系统 高危操作手册》，避免误操作导致系统崩溃
2. 故障处理必备：
   • 故障处理手册：《H3C CloudOS7.0云操作系统 故障处理手册》和《应急故障恢复指导》，包含常见故障的排查步骤
   • 日志与告警参考：《H3C CloudOS7.0云操作系统 日志信息参考》和《告警信息参考》，快速定位问题根源

二、巡检关键点（每日必做）

1. 系统健康检查：
   • 检查管理节点和计算节点的CPU、内存、磁盘使用率，重点关注内存利用率（虚机配置16G可能实际显示14G左右是正常现象）
   • 验证Kubernetes集群状态：kubectl get nodes确认所有节点处于Ready状态
   • 检查容器运行状态：docker ps确认关键服务容器正常运行
2. 存储与网络检查：
   • 验证存储适配器状态，确保与新存储配置匹配
   • 检查vRouter NAT配置：使用cloudos network router-show命令查看
   • 确认网络连通性：测试关键服务间的通信是否正常
3. License状态检查：
   • 验证License授权状态：访问CloudOS管理页面→系统→软件授权
   • 确认授权剩余时间：临时授权需关注剩余天数，避免服务中断

三、告警处理流程（快速响应）

1. 告警分级处理：
   • 紧急告警（如"实例监控数据获取失败"）：立即检查存储空间是否已满，查看异常日志
   • 重要告警：在4小时内处理，如内存利用率超过80%需及时扩容
   • 一般告警：在24小时内处理，做好记录便于后续分析
2. 常见告警解决方案：
   • 内存不足：调整虚机配置或优化应用内存使用，参考《内存管理指南》
   • NAT配置问题：检查vRouter配置，确认SNAT/DNAT规则正确
   • VPC互联问题：检查安全组设置、云联网授权状态及防火墙配置
3. 告警消除步骤：
   • 确认告警真实性（避免误报）
   • 执行修复操作并验证
   • 在U-Center 5.0中更新告警状态
   • 记录处理过程和结果

四、问题升级渠道（二线支持）

1. 内部升级流程：
   • 一级支持：驻场人员自行处理（参考《客户问题处理指导模板》）
   • 二级支持：联系H3C技术支持，需提供完整问题描述、日志和截图
   • 紧急问题：直接拨打400热线，说明"紧急故障"并提供序列号和版本信息
2. 有效求助技巧：
   • 问题描述：明确说明"问题现象、发生时间、影响范围、已尝试的解决方法"
   • 日志收集：使用CloudPlatformToolkit工具收集系统日志
   • 信息准备：准备好CloudOS版本号、节点IP、相关配置截图