• 全部
  • 经验案例
  • 典型配置
  • 技术公告
  • FAQ
  • 漏洞说明
  • 全部
  • 全部
  • 大数据引擎
  • 知了引擎
产品线
搜索
取消
案例类型
发布者
是否解决
是否官方
时间
搜索引擎
匹配模式
高级搜索

cas备份用一个独立的共享存储作为临时目录,发现临时目录空间不回收

  • 0关注
  • 0收藏,64浏览
粉丝:0人 关注:0人

问题描述:

客户逐台备份多个2.2t延时置零的虚拟机,用一个新的共享文件存储作为临时目录。发现备份失败,告警:临时目录空间不足,需要2倍空间(错误码为:4603)。

登录后台发现临时目录所在路径空间未被释放,实际里面并没有文件。

请问当前是什么原因?如何顺利备份?

3 个回答
粉丝:2人 关注:9人

### 原因:
1. 备份异常中断后,负责临时快照挂载的qemu-nbd进程未正常退出,持有已删除的临时备份文件句柄,导致ls无文件但存储空间仍被占用(属于已删文件句柄未释放场景)。
2. 延迟置零磁盘备份时会预占等于磁盘标称容量的临时空间,前次残留占用叠加当前备份所需空间,触发2倍空间不足告警。

### 解决步骤:
1. 提前备份CAS平台配置,暂停所有备份任务。
2. 执行命令排查占用进程:lsof | grep deleted | grep <临时目录绝对路径>,kill返回的qemu-nbd进程ID,空间即可自动释放。
3. 临时目录空间需规划≥单台最大待备份虚拟机总磁盘容量,备份时设置单台串行排队,确认每台备份完成后空间释放再执行下一台。
4. 建议升级CAS到最新稳定版本,该类进程残留未释放的问题已有修复补丁。

暂无评论

粉丝:10人 关注:1人

你遇到的这个问题,核心其实在于H3C CAS平台备份机制的一个特殊设计:备份过程中,临时目录需要预留虚拟机磁盘“分配容量”的2倍空间,而不是“实际使用”空间的2倍。简单来说,你看到空间没释放,但实际上可能根本就没能成功开始备份。

下面我来为你详细分析一下问题的成因和解决办法。

🔍 问题根因深度剖析

这个问题的表象是“空间不足”和“空间不释放”,但背后有更深层次的原因。

  1. 😮 备份的“2倍空间”陷阱:按分配容量而非实际使用量计算

    • 这是导致你备份失败的根本原因。H3C CAS的备份机制在设计上要求,临时目录的可用空间必须大于或等于虚拟机磁盘分配的总容量的2倍。

    • 以你的情况为例:即使每台虚拟机内实际数据不足1TB,只要它被分配了2.2TB的“厚置备延迟置零”磁盘,在CAS平台看来,这就是一个2.2TB的磁盘。

    • 因此,备份一台这样的虚拟机,临时目录就需要至少 2.2TB * 2 = 4.4TB 的可用空间。如果你尝试同时备份多台,所需空间会线性叠加。

  2. 🤔 “空间不释放”的错觉:备份从未真正开始

    • 你登录后台发现“实际里面并没有文件”,这是一个关键线索。它说明备份任务在刚启动、准备阶段,就因为空间检查不通过而直接失败了

    • 整个流程是:任务启动 -> 检查临时目录空间 -> 空间不足 -> 直接报错退出。

    • 由于没有任何数据被写入,自然也就没有文件需要清理,所以你看到的是一个“空”的但“空间不足”的矛盾状态。

  3. 💾 “延时置零”磁盘类型的放大效应

    • 你使用的“厚置备延迟置零”磁盘,在创建时就立即分配了全部物理空间,因此它的“分配容量”非常大。相比之下,“精简置备”磁盘按需分配,其“分配容量”可能远小于物理空间,备份时对临时目录的空间需求也会小得多。这是导致你所需空间巨大的直接原因。

🛠️ 解决与排查方案

针对上述原因,建议你按以下优先级尝试解决方案:

  1. 方案一:精确规划临时目录空间(首选)

    • 计算所需空间:统计所有需要同时并发备份的虚拟机的“磁盘分配总容量”之和,然后乘以2。

    • 确保空间充足:将这个计算结果与你的共享存储临时目录的可用空间进行对比。如果你的共享存储有6.6TB空间,那么它也只能勉强支撑备份一台2.2TB的虚拟机(需要4.4TB),同时备份两台就会失败(需要8.8TB)。确保临时目录的总容量能完全容纳所有并发备份任务的需求。

  2. 方案二:调整备份策略,减少并发

    • 如果存储空间无法扩容,可以修改备份策略,避免同时备份多台大容量虚拟机。将它们安排在业务量小的时间段内串行执行,这样临时目录空间可以重复使用,对容量的需求就降低了。

  3. 方案三:检查路径配置,避免张冠李戴

    • 在CAS管理平台的 系统管理 -> 参数配置 -> 系统参数 中,确认 “上传文件临时目录” 是否指向了空间充足的路径。

    • 特别注意:虚拟磁盘文件下载和虚拟机备份,可能使用了不同的临时目录。请仔细检查备份任务自身的配置,确保“临时目录”路径也指向了正确的共享存储。

  4. 方案四:排查进程占用(如果问题依旧)

    • 如果空间确认充足,但问题依然存在,可能是因为之前的失败任务或其它进程占用了文件句柄。

    • 登录到CVM或CVK节点后台,执行以下命令查找已被删除但仍被进程占用的文件,这些文件不会在常规目录中显示,但会持续占用空间。

      lsof | grep deleted 找到相关进程后,可以尝试重启对应的服务或进程来释放空间

暂无评论

粉丝:9人 关注:2人

这是一个非常典型的 CAS 虚拟化平台备份机制 导致的 “假死” 空间占用问题。

🚨 核心原因

错误码 4603 = 临时目录空间不足
虽然你清空了共享存储的目录,但 CAS 的后台进程 (stbd) 依然持有该目录的文件句柄 (File Handle)
简单说:
进程还占着茅坑不拉屎,系统层面看似空了,实际被进程锁住了,导致新备份无法写入。

🛠️ 根治方案(必须按顺序执行)

第一步:重启 CAS 后台服务(最直接)

这是最有效的方法,可以强制释放所有残留的文件句柄。
登录 CVK 主机后台执行以下命令:
bash
运行
# 1. 停止 CAS 服务 service cas stop # 2. 强制同步缓冲区并清空挂载点(清理残留句柄) echo 3 > /proc/sys/vm/drop_caches # 3. 重启服务 service cas start
⚠️ 注意:重启服务期间,虚拟机业务不受影响,但备份任务会中断,请在业务低谷期操作。

第二步:检查并修复共享存储挂载(必查)

如果重启服务后仍报错,检查共享存储是否正常挂载:
bash
运行
# 查看挂载状态 df -h # 查看共享配置 cat /etc/fstab
  • 现象:如果显示 /vms/xxx 状态为 Read-onlyError,说明共享存储掉线了。
  • 修复:重新挂载共享存储。

第三步:临时扩容规避(应急手段)

如果客户紧急需要备份,且无法重启服务,可以临时修改备份目录配置:
  1. 登录 CAS 管理平台。
  2. 进入 系统管理 -> 系统配置 -> 备份配置
  3. 临时目录修改到 CVK 本地磁盘(剩余空间较大的位置,如 /var/lib/cas/tmp)。
  4. 执行备份,待备份完成后,再改回共享存储。

💡 为什么会出现这种情况?

  1. 断网导致:备份过程中,共享存储突然断网或权限变更,导致进程写入失败,文件变成僵尸进程。
  2. 未正常结束:上一次备份任务被强制中断(如断电、拔网线),导致后台线程未释放资源。
  3. OCFS2 特性:如果你的共享存储是 OCFS2 文件系统(图片中显示 ocfs2),它对文件锁的检测机制比较严格,一旦进程异常退出,锁可能会残留。

📝 最佳实践建议

为了避免下次再出现:

  1. 专用分区:不要把备份目录直接建在根目录或数据存储目录下,单独划分一个 LVM 分区。
  2. 监控报警:在监控平台设置共享存储使用率阈值(如 80% 报警),而不是依赖肉眼。
  3. 定期清理:每周手动清理一次 /var/lib/cas/backup 或对应的挂载目录下的 tmp_* 文件夹。

暂无评论

编辑答案

你正在编辑答案

如果你要对问题或其他回答进行点评或询问,请使用评论功能。

分享扩散:

提出建议

    +

亲~登录后才可以操作哦!

确定

亲~检测到您登陆的账号未在http://hclhub.h3c.com进行注册

注册后可访问此模块

跳转hclhub

你的邮箱还未认证,请认证邮箱或绑定手机后进行当前操作

举报

×

侵犯我的权益 >
对根叔社区有害的内容 >
辱骂、歧视、挑衅等(不友善)

侵犯我的权益

×

泄露了我的隐私 >
侵犯了我企业的权益 >
抄袭了我的内容 >
诽谤我 >
辱骂、歧视、挑衅等(不友善)
骚扰我

泄露了我的隐私

×

您好,当您发现根叔知了上有泄漏您隐私的内容时,您可以向根叔知了进行举报。 请您把以下内容通过邮件发送到pub.zhiliao@h3c.com 邮箱,我们会尽快处理。
  • 1. 您认为哪些内容泄露了您的隐私?(请在邮件中列出您举报的内容、链接地址,并给出简短的说明)
  • 2. 您是谁?(身份证明材料,可以是身份证或护照等证件)

侵犯了我企业的权益

×

您好,当您发现根叔知了上有关于您企业的造谣与诽谤、商业侵权等内容时,您可以向根叔知了进行举报。 请您把以下内容通过邮件发送到 pub.zhiliao@h3c.com 邮箱,我们会在审核后尽快给您答复。
  • 1. 您举报的内容是什么?(请在邮件中列出您举报的内容和链接地址)
  • 2. 您是谁?(身份证明材料,可以是身份证或护照等证件)
  • 3. 是哪家企业?(营业执照,单位登记证明等证件)
  • 4. 您与该企业的关系是?(您是企业法人或被授权人,需提供企业委托授权书)
我们认为知名企业应该坦然接受公众讨论,对于答案中不准确的部分,我们欢迎您以正式或非正式身份在根叔知了上进行澄清。

抄袭了我的内容

×

原文链接或出处

诽谤我

×

您好,当您发现根叔知了上有诽谤您的内容时,您可以向根叔知了进行举报。 请您把以下内容通过邮件发送到pub.zhiliao@h3c.com 邮箱,我们会尽快处理。
  • 1. 您举报的内容以及侵犯了您什么权益?(请在邮件中列出您举报的内容、链接地址,并给出简短的说明)
  • 2. 您是谁?(身份证明材料,可以是身份证或护照等证件)
我们认为知名企业应该坦然接受公众讨论,对于答案中不准确的部分,我们欢迎您以正式或非正式身份在根叔知了上进行澄清。

对根叔社区有害的内容

×

垃圾广告信息
色情、暴力、血腥等违反法律法规的内容
政治敏感
不规范转载 >
辱骂、歧视、挑衅等(不友善)
骚扰我
诱导投票

不规范转载

×

举报说明