故障原因分析
物理机本地空闲存储为 0GB（核心原因）：
这是导致虚拟机卡死、无法进入系统、无法操作的根本原因。虚拟化平台（KVM/CAS）需要物理磁盘空间来写入虚拟机运行时的日志、内存交换文件以及磁盘数据的增量更改。
当物理磁盘空间为 0 时，底层 QEMU 进程会挂起（Pause）虚拟机以保护数据，或者在尝试写入时发生 IO Error，导致系统内卡死。
显示文件大小 40GB，实际占用 95GB（快照/增量文件问题）：
这是 H3C CAS（基于 KVM）的存储特性。您看到的 40GB 是虚拟机的“逻辑规划大小”，而 95GB 是物理磁盘上的实际占用文件（qcow2 格式）。
快照膨胀：当您创建快照后，原始磁盘文件变为“只读”，新产生的数据会写入一个新的增量文件中。如果长时间不删除（合并）快照，或者频繁修改数据，这个增量文件会变得非常大。
您提到“前周做过全量备份，手动删除了”，如果备份机制在后台残留了未合并的快照节点，或者您删除的方式不对（直接在后台删文件而非通过平台），都会导致磁盘文件异常膨胀。
紧急处理步骤
注意： 由于物理机存储已满，任何“写”操作（包括启动虚拟机、合并快照）都可能失败。第一步必须是清理物理机上的垃圾文件以腾出缓冲空间。
请通过 SSH 工具（如 PuTTY, CRT）登录到该 CVK 物理主机的后台（默认端口 22，用户 root）。
第一步：确认磁盘占用情况
在 CVK 物理机后台执行以下命令，确认是哪个分区满了（通常是 /vms 或 /var/lib/libvirt）：
df -h
查看输出中 Use% 为 100% 的挂载点。H3C CAS 通常将本地存储挂载在 /vms 目录下。
第二步：清理“非关键”文件（腾出救命空间）
我们需要先腾出至少 5GB-10GB 的空间，才能让系统恢复响应并进行后续修复。
查找大文件： 进入存储目录（假设为
/vms，请根据第一步结果调整）：Bashcd /vms du -sh * | sort -hr | head -n 10安全删除的目标建议：
ISO 镜像文件： 查找
.iso结尾的文件，这些通常可以重新上传，删除不影响运行。Bash# 示例：删除所有ISO文件（请务必确认不需要） rm -f /vms/isos/*.isoCore Dump 文件（系统崩溃转储）： 物理机如果有过崩溃，可能会产生巨大的 core 文件。
Bashfind /vms -name "core.*" # 如果确认是 core dump 文件，可以删除日志文件： 检查
/var/log下是否有巨大的日志包。无关紧要的已关闭虚拟机： 如果有其他不重要的测试虚拟机（处于关机状态），建议先删除其磁盘文件以释放空间。
警告： 绝对不要手动删除故障虚拟机的磁盘文件（通常是 .img 或 .qcow2），也不要删除任何您不确定用途的 back 或 snap 文件，否则数据将无法恢复。
第三步：处理虚拟机快照膨胀（合并快照）
当您腾出约 5GB 以上空间后，虚拟机可能暂时恢复响应，但为了彻底解决 95GB 占用问题，需要合并快照。
检查虚拟机磁盘链状态： 找到故障虚拟机的磁盘文件路径（例如
disk_name）：Bashqemu-img info /vms/images/您的虚拟机磁盘文件名查看输出中的
backing file字段。如果存在 backing file，说明存在快照链。通过 CAS 前台合并（推荐）：
登录 H3C CAS 管理平台。
找到该虚拟机 -> 修改 -> 快照管理。
如果您能看到快照列表，选择删除快照。
注意： 在 CAS 中，“删除快照”实际上执行的是 Merge（合并） 操作，它会将增量数据合并回原始磁盘，从而释放空间。
如果前台看不到快照，但后台通过
qemu-img info确实看到了 backing file，说明快照链在数据库中丢失了（由于之前的“手动删除”操作），这需要通过后台命令修复。
后台手动合并（仅当前台无法操作时使用）： 如果前台无法合并，且您已腾出足够空间，可以使用
virsh blockcommit（在线合并）或qemu-img commit（离线合并）。离线合并方案（较安全，需虚拟机处于关机状态）：
Bash# 1. 确保虚拟机已关闭 virsh destroy <虚拟机名称> # 2. 执行合并（将增量层合并到底层） # 假设 disk_snap.qcow2 是当前使用的 95GB 文件，它的 backing file 是 disk_base.qcow2 # 下面命令会将 disk_snap 的内容合并回 disk_base，合并后 disk_base 会变大，但总占用会变小 qemu-img commit /vms/images/当前巨大的磁盘文件
第四步：如果无法腾出空间（迁移方案）
如果您实在无法在本地物理机删除任何文件（没有 ISO，没有其他 VM）：
准备外部存储： 找一个 USB 移动硬盘或者挂载一个 NFS/FTP 存储。
迁移大文件： 将该 95GB 的虚拟机磁盘文件
mv(移动) 到外部存储中。腾出空间： 移动完成后，本地空间释放。
重新导入： 在外部存储或重新规划后的空间中恢复该磁盘文件。
总结您的下一步操作
建议您立即按照以下顺序执行：
SSH 登录物理机后台。
执行
df -h确认/vms目录 100% 满。执行
rm命令删除不用的 ISO 镜像或其他非关键虚拟机的磁盘，目标是腾出至少 5GB 空间。空间腾出后，尝试在 CAS 前台重启虚拟机。
若能启动，立即在 CAS 前台删除所有快照以整合磁盘空间。
如果您在执行 df -h 或寻找大文件时遇到困难，请把命令的回显内容贴给我，我来帮您判断哪些文件可以删。
麻烦看下 寻找大文件的回显 root@ hlw-001:/# df - h Filesystem Size Used Avail Use% Mounted on / dev/sda 128G 18G 8.3G 69% / udev 47G 12K 47G1%/ dev tmpfs19G 448K 19G1% / run none5.0M0 5.0M 0% / run/ lock none48G16K 48G 1% / run/ shm cgroup48G0 48G 0% / sys/ fs/ cgroup / dev/sda7139G 139G0 100% / vms / dev/sda519G 3.6G 14G 21% / var/ log / dev/ sdc2.0T 1.9T 177G 92% / vms/FCstor-hlw root@ hlw-001:/# cd / vms root@ hlw-001:/ vms# du - sh * | sort - hr | head - n 10 1.9T FCstor-hlw 116G images 17G templet 5.2 Gisos 17M initrd. img-3.13.6 2.9M 2016hlw 976K bnx2x. ko 596K tmpDomain 128K downloadCVM 16K tmp
大佬在哪
问题诊断： 通过您提供的 df -h 和 du -sh 命令结果，情况已经完全明确： 故障点：/dev/sda7 挂载在 /vms 目录，总大小 139G，已使用 139G，使用率 100%。这就是导致物理机无法写入任何数据、虚拟机卡死的根本原因。 空间占用分析： 116G images：这是虚拟机磁盘文件目录（核心数据，绝对不能动）。 17G templet：这是虚拟机模板文件目录（存放您之前制作的系统模板）。 5.2G isos：这是上传的操作系统安装镜像（ISO文件）。 紧急处理方案： 目前您最安全、最快速的“救命”办法是删除 /vms/isos 目录下的 ISO 镜像文件。这可以立刻释放 5.2GB 的空间，足以让宿主机恢复正常读写，让您可以启动虚拟机或进行后续的快照合并操作。 请依次执行以下命令： 第一步：删除 ISO 镜像文件（最安全） 进入目录并确认文件： Bash cd /vms/isos ls -lh (您会看到一些 .iso 结尾的安装包，例如 Windows.iso 或 CentOS.iso) 执行删除： Bash rm -f *.iso (该命令会删除当前目录下的所有 iso 文件。ISO文件后续可以随时重新上传，不影响现有虚拟机的运行) 验证空间释放： Bash df -h /vms (此时 Avail 列应该显示有约 5.0G 的可用空间，Use% 会降下来) 第二步：如果空间还不够（处理模板文件） 如果删除 ISO 后空间依然非常紧张（比如不足 2GB），您可以检查 templet 目录。 查看模板文件： Bash cd /vms/templet ls -lh 删除不用的旧模板（如果有）： 模板通常是 base_ 开头或者您命名的文件夹。 确认不再需要该模板后，可以使用 rm -rf 目录名 删除。 如果不确定模板是否在使用，请跳过此步，优先只删 ISO。 第三步：恢复虚拟机（关键） 一旦 df -h 显示 /vms 有 5GB 以上的空闲空间： 回到 H3C CAS 管理前台网页。 尝试启动那台故障的虚拟机。 立刻处理快照： 虚拟机启动成功后，在 CAS 前台找到该虚拟机 -> 修改 -> 快照管理。 如果您能看到快照，请执行 “删除快照”（这会触发合并操作，将那 95GB 的占用空间逐步整合释放）。 注意：合并快照期间，磁盘 I/O 会很高，请耐心等待，不要强制关机。 请立即执行第一步的删除 ISO 操作，然后告诉我结果。
root@ hlw-001:/# cd / vms/ isos root@ hlw-001:/ vms/ isos# ls - lh total 408M -rw-r--r- - 1 root root 401M Jan 232022 castools. iso -rw-r--r- - 1 root root 7.5M Mar192016 h3cvm-tools-setup. iso druxr-x-- - 2 root root 4.0K Aug117:30iso drwxr-x-- - 2 root root4.0K Jan232022vfd lrwxrwxrwx 1 root root38 Jan 232022virtio-win10. iso-> / vms/ isos/ iso/ virtio-win10-0.1.185. iso lrwxrwxrwx 1 root root38 Jan 232022virtio-win10. vfd - > / vms/ isos/ vfd/ virtio-win10-0.1.185. vfd lrwxrwxrwx1 root root40 Jan 232022virtio-win2003. iso-> / vms/ isos/ iso/ virtio-win2003-0.1.185. iso lrwxrwxrwx1 root root40 Jan 232022virtio-win2003. vfd - > / vms/ isos/ vfd/ virtio-win2003-0.1.185. vfd lrwxrwxrwx1 root root40 Jan 232022virtio-win2008. iso-> / vms/ isos/ iso/ virtio-win2008-0.1.185. iso lrwxrwxrux1 root root40 Jan 232022virtio-win2008. vfd - > / vms/ isos/ vfd/ virtio-win2008-0.1.185. vfd lrwxrwxrwx1 root root42 Jan 232022virtio-win2008R2. iso-> / vms/ isos/ iso/ virtio-win2008R2-0.1.185. iso lrwxrwxrwx1 root root42 Jan 232022virtio-win2008R2. vfd - > / vms/ isos/ vfd/ virtio-win2008R2-0.1.185. vfd lrwxrwxrwx1 root root40 Jan 232022virtio-win2012. iso-> / vms/ isos/ iso/ virtio-win2012-0.1.185. iso lrwxrwxrwx1 root root40 Jan 232022virtio-win2012. vfd - > / vms/ isos/ vfd/ virtio-win2012-0.1.185. vfd lrwxrwxrwx 1 root root42 Jan 232022virtio-win2012R2. iso-> / vms/ isos/ iso/ virtio-win2012R2-0.1.185. iso lrwxrwxrwx 1 root root42 Jan 232022virtio-win2012R2. vfd - > / vms/ isos/ vfd/ virtio-win2012R2-0.1.185. vfd lrwxrwxrwx 1 root root40 Jan 232022virtio-win2016. iso-> / vms/ isos/ iso/ virtio-win2016-0.1.185. iso lrwxrwxrwx 1 root root40 Jan 232022virtio-win2016. vfd - > / vms/ isos/ vfd/ virtio-win2016-0.1.185. vfd lrwxrwxrwx 1 root root40 Jan 232022virtio-win2019. iso-> / vms/ isos/ iso/ virtio-win2019-0.1.185. iso lrwxrwxrwx 1 root root40 Jan 232022virtio-win2019. vfd - > / vms/ isos/ vfd/ virtio-win2019-0.1.185. vfd lrwxrwxrwx 1 root root37 Jan 232022virtio-win7. iso-> / vms/ isos/ iso/ virtio-win7-0.1.185. iso lrwxrwxrwx 1 root root37 Jan 232022virtio-win7. vfd - > / vms/ isos/ vfd/ virtio-win7-0.1.185. vfd lrwxrwxrwx 1 root root39 Jan 232022virtio-win8.1. iso-> / vms/ isos/ iso/ virtio-win8.1-0.1.185. iso lrwxrwxrwx 1 root root39 Jan 232022virtio-win8.1. vfd - > / vms/ isos/ vfd/ virtio-win8.1-0.1.185. vfd lrwxrwxrwx 1 root root37 Jan 232022virtio-win8. iso-> / vms/ isos/ iso/ virtio-win8-0.1.185. iso lrwxrwxrwx 1 root root37 Jan 232022virtio-win8. vfd - > / vms/ isos/ vfd/ virtio-win8-0.1.185. vfd lrwxrwxrwx 1 root root38 Jan 232022 virtio-winxp. iso-> / vms/ isos/ iso/ virtio-winxp-0.1.185. iso lrwxrwxrwx 1 root root38 Jan 232022 virtio-winxp. vfd - > / vms/ isos/ vfd/ virtio-winxp-0.1.185. vfd drwxr-xr-x 2 root root 4.0K Dec 22019 vmbackuptmp root@h1w-001:/ vms/ isos# rm - f *.iso
root@ hlw-001:/ vms/ isos# rm - f *.iso root@h1w-001:/ vms/ isos# df - h/ vms df: invalid option - - '/' Try ` df - - help' for more information. root@ hlw-001:/ vms/ isos# df - h / vms FilesystemSize Used Avail Use% Mounted on / dev/sda7139G 130G 1.3G 100% / vms root@ hlw-001:/ vms/ isos# cd / vms/ templet root@ hlw-001:/ vms/ templet# ls centos6.5–64bit win2008mbj win10 8r2 我这边已经把.iso文件清理了，但好像只腾出1.3G空间；然后查看虚拟机模板好像没找到虚拟机模板的文件
猜测是清理镜像文件腾出的1.3G空间，让卡住的“删除快照”进程得以继续执行，才最终腾出49G的空间
感谢大佬指点
才看见，弄好了就行
根本原因：CAS物理主机（hlw-001）的本地存储池 defaultpool已完全写满（可用空间为 0.00B），导致存放于该存储池上的虚拟机磁盘文件（wgwlgjxt.qcow2）无法进行任何写入操作，从而引起虚拟机系统崩溃。
原因详细分析
- 存储池写满的直接影响（图1、图2）：
- 虚拟机在运行时，操作系统和应用程序需要不断向磁盘写入数据（系统日志、临时文件、浏览器缓存等）。当底层存储没有任何空闲空间时，这些写操作会全部失败。
- 对于Windows系统，这会导致系统无法创建页面文件、事件日志写入失败，最终导致系统服务异常、桌面进程（explorer.exe）卡死或无响应（如图3所示）。
- 异常磁盘文件
wgwlgjxt.qcow2（图2红框）：- 这是一个非常关键的异常点。该磁盘文件定义为40GB，但“已用空间”显示为95.11GB，这严重反常。
- 对于qcow2格式（一种稀疏文件格式，支持快照和动态扩容），出现这种情况通常意味着：
- 快照链问题：创建了大量快照且未合并，或者快照文件本身损坏。
- 磁盘空间泄漏：由于异常关机、BUG或存储压力，qcow2文件的元数据出现错误，导致其实际占用的物理空间远大于逻辑大小。
- 这个“异常膨胀”的文件是吃光
defaultpool存储空间的罪魁祸首。
- 连锁反应：
- 您之前为了腾出空间删除了虚拟机的全量备份，但这并没有解决核心问题（异常磁盘文件），只是暂时缓解。随后空间很快又被占满。
- 尝试恢复快照和重启虚拟机都无效，因为操作本身就需要在磁盘上写入数据，而存储已满，这些操作无法完成。
解决方案（按优先级排序）
首要目标：立即为物理主机本地存储腾出可用空间。阶段一：紧急恢复（让系统先跑起来）
- 清理物理主机临时空间：
- 登录到CAS物理主机
hlw-001的系统后台。 - 检查
/vms/images目录（即defaultpool的路径）下是否有可以清理的临时文件、残留的虚拟机文件或旧的日志文件。操作前务必确认文件可删！
- 登录到CAS物理主机
- 迁移或删除非核心虚拟机：
- 从图2看，
defaultpool上还有其他虚拟机磁盘（如centos6.5-64bitcentos-40gb.qcow2和win2008r2.qcow2）。 - 如果这些虚拟机不重要或可以重建，请立即将其关机并删除（请在CAS管理界面上操作“删除虚拟机”，而不仅是删除磁盘文件），这将快速释放大量空间。
- 如果这些虚拟机重要，尝试使用CAS的“迁移”功能，将它们迁移到还有空间的共享存储
FCstor-hlw上。
- 从图2看，
- 检查并清理快照：
- 找到“违规外联告警系统”虚拟机，检查其快照管理页面。
- 如果存在多个历史快照，尝试合并或删除不必要的快照。快照的删除和合并过程会释放被占用的空间。
阶段二：修复问题虚拟机（根本解决）
在腾出至少20-30GB的可用空间后，再处理问题虚拟机。- 最佳方案：从备份恢复
- 如果您有可用的、早于问题发生时间的备份（即使是前周的全量备份），请使用CAS的备份恢复功能，将虚拟机恢复到还有空间的共享存储
FCstor-hlw上。这是最安全、最可靠的方法。
- 如果您有可用的、早于问题发生时间的备份（即使是前周的全量备份），请使用CAS的备份恢复功能，将虚拟机恢复到还有空间的共享存储
- 次选方案：重建虚拟机磁盘
- 如果无有效备份，您需要冒险修复：
- a. 确保
defaultpool有足够空间。 - b. 尝试启动虚拟机，如果能勉强进入系统，立即将核心数据通过远程方式（如FTP、网盘）备份出来。
- c. 在CAS上删除这台问题虚拟机（注意：是删除，这会释放95GB的空间）。
- d. 使用一个干净的Windows Server 2008 R2模板，在
FCstor-hlw共享存储上重新创建一台虚拟机，然后重新安装配置应用系统。
- a. 确保
- 如果无有效备份，您需要冒险修复：
阶段三：长期优化与预防
- 存储规划：永远不要将生产虚拟机放在本地存储上。本地存储仅用于测试或临时用途。应将所有虚拟机创建在具有冗余和扩容能力的共享存储（如您现有的
FCstor-hlw）上。 - 监控告警：在CAS上设置存储空间告警阈值，例如超过80%就发送告警邮件，以便提前干预。
- 快照管理：快照不是备份。严禁长期保留快照，这会严重影响性能并占用大量空间。快照只应用于短期操作（如打补丁、升级），完成后应立即合并或删除。
总结
您现在最需要做的是阶段一的操作，快速为物理主机释放空间。只要defaultpool的可用空间不为0，虚拟机就有恢复的可能。请优先考虑迁移或删除那两台非核心的虚拟机（centos和win2008r2），这是最快的方法。希望这些步骤能帮助您解决问题！为什么会在99%卡住？
快照清理（合并）的本质是一个复杂的存储操作过程：- 前期准备（1%-98%）：系统分析快照链、准备元数据。这些操作主要是在内存中进行的计算和规划，对磁盘写入需求不大。
- 最终提交与空间回收（99%-100%）：这是最关键的步骤。系统需要：
- 将合并后的最终数据块写入磁盘。
- 删除旧的快照文件。
- 更新元数据，释放磁盘空间。
解决方案（按风险从低到高排序）
请严格按照以下步骤操作：步骤一：首要尝试 - 为存储池腾出“操作空间”
这是最关键的一步。在存储池满的情况下，任何操作都可能失败。- 清理其他空间：立即检查
defaultpool存储池，寻找任何可以快速释放空间的方法：- 删除其他已关机且不重要的虚拟机的快照。
- 如果
defaultpool下有其他废弃的虚拟机模板或ISO文件，将其删除。 - （最有效） 将
defaultpool上另一台不重要的虚拟机（如您之前提到的centos6.5或win2008r2）关机并迁移（Migrate）到尚有空间的共享存储FCstor-hlw上。迁移完成后，其本地磁盘文件会被自动删除，这将释放大量空间。
defaultpool的可用空间从 0GB 变为一个正数（例如，至少5-10GB）。步骤二：处理卡住的任务
在腾出一些空间后，按顺序尝试：- 等待观察：腾出空间后，不要立即进行其他操作。等待15-30分钟，看卡住的任务是否能自动继续并完成。系统检测到有可用空间后，可能会自动重试后续操作。
- 强制取消任务（谨慎操作）：
- 如果等待后任务仍无进展，在CAS任务台找到这个卡住的任务。
- 尝试点击“取消”或“强制结束”按钮。取消任务本身也需要写入日志，所以必须在有可用空间后才能成功。
- 风险：强制取消可能导致快照链处于一个“中间状态”，即不完整也不一致。但这通常是恢复操作必须承担的风险。
步骤三：评估并执行最终恢复方案
取消任务后，快照状态可能是不确定的。您需要重新评估虚拟机状态。- 方案A（推荐）：放弃修复，从模板重建
- 如果这台虚拟机可以通过模板快速重建，这是最安全、最彻底的方案。
- 操作：
- 确认已腾出足够空间。
- 在CAS上删除这台问题虚拟机（选择“删除虚拟机”，这会释放其占用的所有磁盘空间）。
- 使用一个干净的模板，在
FCstor-hlw共享存储上重新部署一台新的虚拟机。
- 优点：彻底摆脱了损坏的快照链和可能有问题的虚拟磁盘，得到一个全新的、健康的环境。
- 方案B（冒险）：再次尝试清理快照
- 如果在腾出空间并取消任务后，虚拟机状态显示为“正常运行”或“已关机”，可以再次尝试清理快照。
- 操作：进入虚拟机详情页的“快照管理”，选择一个最基础的健康快照（如果还能识别的话），再次执行“删除所有快照”或逐个删除较新的快照。
- 风险：快照链可能已损坏，此操作可能再次卡住或失败。
- 方案C（最后手段）：联系华三技术支持
- 如果以上方法均无效，且虚拟机极其重要，必须修复。
- 请联系华三技术支持，他们可能可以通过后台命令行工具，使用
qemu-img等命令手动检查和修复受损的qcow2镜像文件。此操作专业性极高，有数据丢失风险，切勿自行尝试。
总结与紧急行动清单
- 根本原因：存储池已满，导致快照清理任务无法完成最后的数据提交和空间回收步骤，卡在99%。
- 立即行动：您的第一要务不是处理这个卡住的任务，而是想方设法为
defaultpool本地存储池腾出可用空间（至少5-10GB）。最快的方法是迁移或删除其他虚拟机。 - 后续操作：腾出空间后，先等待，再尝试取消任务。最后根据虚拟机的重要性，选择是“重建”还是“继续修复”。
现在尝试清理”违规外联告警系统”虚拟机的多个历史快照，任务台显示此任务状态99%，是不是清理任务卡住了
编辑答案
亲~登录后才可以操作哦!
确定你的邮箱还未认证，请认证邮箱或绑定手机后进行当前操作
举报
×
侵犯我的权益
×
侵犯了我企业的权益
×
- 1. 您举报的内容是什么？（请在邮件中列出您举报的内容和链接地址）
- 2. 您是谁？（身份证明材料，可以是身份证或护照等证件）
- 3. 是哪家企业？（营业执照，单位登记证明等证件）
- 4. 您与该企业的关系是？（您是企业法人或被授权人，需提供企业委托授权书）
抄袭了我的内容
×
原文链接或出处
诽谤我
×
- 1. 您举报的内容以及侵犯了您什么权益？（请在邮件中列出您举报的内容、链接地址，并给出简短的说明）
- 2. 您是谁？（身份证明材料，可以是身份证或护照等证件）
对根叔社区有害的内容
×
不规范转载
×
举报说明
才看见，弄好了就行