• 全部
  • 经验案例
  • 典型配置
  • 技术公告
  • FAQ
  • 漏洞说明
  • 全部
  • 全部
  • 大数据引擎
  • 知了引擎
产品线
搜索
取消
案例类型
发布者
是否解决
是否官方
时间
搜索引擎
匹配模式
高级搜索

uis8.0备节点的/var/log/storage/backup/ceph有20G占用

4天前提问
  • 0关注
  • 0收藏,63浏览
粉丝:0人 关注:0人

问题描述:

看了下主备节点都运行着tomcat,会不会是这个原因导致的?直接在备节点service tomcat stop能恢复正常么?

3 个回答
粉丝:2人 关注:9人

不建议直接停止备节点tomcat服务,这可能导致管理功能异常。建议按以下步骤排查清理:

1. 检查日志文件:
ls -lh /var/log/storage/backup/ceph/
du -sh /var/log/storage/backup/ceph/*

2. 清理历史日志(保留近期):
find /var/log/storage/backup/ceph/ -type f -name "*.log" -mtime +7 -delete

3. 检查日志轮转配置:
cat /etc/logrotate.d/ceph-backup

4. 如需长期解决,调整日志轮转策略(先备份原配置):
- 减少保留天数
- 增加轮转频率

补充信息:具体日志文件名和生成速率有助于进一步分析。

暂无评论

粉丝:9人 关注:1人

备节点 /var/log/storage/backup/ceph 目录占用20GB,与Tomcat服务基本无关

该目录是Ceph分布式存储系统自身的日志备份路径,Tomcat服务的启停不会对里面的文件产生任何影响,更不会导致空间占用异常。


 为什么备节点会有这个目录?

  • 业务逻辑:该目录用于存放Ceph组件(如MON,Monitor)的配置与状态备份,是集群内部信息同步和故障恢复的数据基础。

  • 日志管理策略:UIS系统设计了自动日志轮转与清理机制。当/var/log分区使用率达到80%时,系统会自动清理该目录下最早期的压缩包,以释放空间。

因此,占用20GB很可能是Ceph组件产生的常规压缩备份文件堆积。


 为什么停止Tomcat服务无法解决问题?

  1. 职责无关:Tomcat服务是UIS管理平台的后端服务,而ceph目录是存储系统(ONEStor)自身的日志/配置备份,两者在功能上完全独立。

  2. 后果不可控:在UIS集群中,非管理节点(即备节点)上的Tomcat服务通常承载着部分平台功能。直接停止该服务,可能会导致UIS管理平台的Web页面、API接口等部分功能异常,影响运维操作,但对释放该目录空间毫无帮助


请按以下顺序操作,这是更安全有效的方法。

1. 优先方案:使用系统自动化清理机制

这是最安全、推荐的首选方案。

  • 检查空间使用率:通过SSH登录到该备节点,使用 df -h /var/log 命令,检查/var/log分区的空间使用率。

  • 判断与处理

    • 如果使用率已超过80%,系统会自动触发清理。此时无需手动干预,建议等待最多1-2小时,再用 du -sh /var/log/storage/backup/ceph 命令确认空间是否释放。

    • 如果使用率低于80%,则系统不会自动清理。此时可以考虑方案二,手动处理。

2. 备用方案:手动安全清理

如果在方案一中确认使用率低于80%,且20GB的占用确实需要清理,可以参考以下手动清理步骤。

  1. 确认文件类型:进入目录并查看文件列表,确认是否为历史压缩包。

    cd /var/log/storage/backup/ceph
    ls -lh
  2. 正常情况下,应该看到大量的*.tar.gz*.tgz等格式的压缩文件。
  3. 执行清理(仅清理旧文件)

    • 最安全:使用rm命令删除30天以前的文件。

      # 请务必先在当前目录下执行 pwd 命令,确认当前路径为 /var/log/storage/backup/ceph
      pwd # 确认无误后,执行删除命令,此处示例为删除修改时间在30天前的文件 sudo find . -type f -name "*.tar.gz" -mtime +30 -delete
    • 手动删除:如果文件不多,也可以手动选择最旧的一批进行删除。


暂无评论

粉丝:7人 关注:2人

  • 备节点 /var/log/storage/backup/ceph 占 20G 与 Tomcat 无关(Tomcat 只负责 Web UI,不写 Ceph 备份日志)
  • 备节点 Tomcat 本来就不应该运行(UIS/CAS 双机机制:备节点 Tomcat 是停止状态,只有主节点运行)
  • 直接 stop 备节点 Tomcat 安全、不会影响业务,但不能解决日志占满问题
下面给你完整排查 + 清理 + 根治方案(UIS8.0/CAS 通用)。

一、先确认:备节点 Tomcat 状态(必查)

1. 查看备节点 Tomcat

bash
运行
# 备节点执行 service tomcat8 status # 或 systemctl status tomcat8
  • 正常备机应该是:inactive (dead)
  • 如果你看到 active (running)异常(双机切换残留 / 配置错误)

2. 安全停止备节点 Tomcat(无风险)

bash
运行
# 备节点执行 service tomcat8 stop # 或 systemctl stop tomcat8 # 禁止开机自启(避免下次重启又起来) systemctl disable tomcat8
效果:
  • 释放备节点少量内存 / CPU
  • 不会清理 /var/log/storage/backup/ceph(日志来源不是 Tomcat)

二、定位:/var/log/storage/backup/ceph 为什么暴增

1. 目录作用

  • /var/log/storage/backup/ceph
    UIS/CVM 底层 Ceph 集群的备份日志 / 快照日志 / 任务日志
    → 由 存储管理服务(oned/ceph 相关守护) 写入,和 Tomcat 无关

2. 暴增常见原因(UIS8.0 常见)

  1. Ceph 备份任务异常、重复执行、日志狂打
  2. 日志轮转(logrotate)失效,文件无限累积
  3. 备节点同步异常、重复写日志
  4. 存储集群异常(OSD 频繁重启 / 报错),大量错误日志

3. 查看哪些文件最大

bash
运行
# 备节点 cd /var/log/storage/backup/ceph du -ah | sort -hr | head -20
  • 大量 .log / .bak / .tar / 带日期的压缩包 → 可清理

三、紧急清理:安全释放空间(立即生效)

1. 先确认:可删范围(安全)

  • 可以删
    • 所有 .log.log.1.log.N.gz.tar*-oldbackup-*
    • 30 天以前的所有日志(你说已过期 1 个月以上)
  • 不要删
    • 当前正在写入的 .log(可清空,不要删)
    • 目录本身、软链接、配置文件

2. 安全清理命令(备节点执行)

bash
运行
cd /var/log/storage/backup/ceph # 1) 清空当前活跃日志(不删文件,避免进程挂) for f in $(ls | grep -E "\.log$"); do > $f; done # 2) 删除30天以上所有日志/备份(你场景可用) find . -type f \( -name "*.log" -o -name "*.log.*" -o -name "*.gz" -o -name "*.tar" \) -mtime +30 -delete # 3) 再确认空间 df -h /var/log
预期: 20G → 几百 M~几 G

四、为什么备节点也会写这么多日志?

UIS/CVM 主备机制:
  • 主节点:提供 Web、处理 CVM 业务、写正常日志
  • 备节点
    • 同步数据库 / 配置
    • 同样运行存储相关进程(ceph-mon/ceph-osd/oned 等)
    • 同样会写 Ceph 日志到 /var/log/storage/...
  • Tomcat 只在主节点运行,备节点 Tomcat 不工作、不写日志
所以:
备节点日志暴增 = 存储层 / 备份任务异常和 Tomcat 无关

五、根治:防止再次爆满(长期)

1. 检查并修复 logrotate(UIS8.0 常见失效)

bash
运行
# 查看Ceph相关轮转配置 ls /etc/logrotate.d/ | grep ceph cat /etc/logrotate.d/ceph cat /etc/logrotate.d/storage
典型修复(缺失则添加):
bash
运行
vi /etc/logrotate.d/ceph-backup
写入:
plaintext
/var/log/storage/backup/ceph/*.log { daily rotate 30 compress missingok notifempty copytruncate }
bash
运行
# 立即强制执行一次 logrotate -f /etc/logrotate.d/ceph-backup

2. 关闭备节点不必要调试日志

bash
运行
# 降低Ceph日志级别(备节点执行) ceph daemon mon.$(hostname) config set log_level 0 ceph daemon mon.$(hostname) config set debug_ms 0 ceph daemon mon.$(hostname) config set debug_mon 0 # 重启存储相关服务(不影响业务VM) systemctl restart oned systemctl restart ceph-mon@$(hostname)

3. 检查是否有异常备份任务

bash
运行
# 查看备节点备份/同步任务 ps aux | grep backup ps aux | grep ceph
  • 有重复 / 卡死任务 → kill 掉
  • 到 UIS Web → 存储 → 备份任务 关闭无效策略

六、总结(你现在该做的顺序)

  1. 备节点停止 Tomcat(安全、推荐)
    bash
    运行
    systemctl stop tomcat8 systemctl disable tomcat8
  2. 清理 /var/log/storage/backup/ceph 老日志(上面命令)
  3. 配置 logrotate 防止再爆
  4. 检查 Ceph 状态 排除集群异常
    bash
    运行
    ceph -s ceph health detail

七、常见误区澄清

  • “停 Tomcat 就能清日志”
    → 否。Tomcat 不写这个目录。
  • “备节点不能停服务”
    → 备节点 Tomcat 本来就该停,停掉才符合双机规范。
  • “删日志会丢数据”
    → 删过期备份日志 不影响虚拟机 / 存储数据

暂无评论

编辑答案

你正在编辑答案

如果你要对问题或其他回答进行点评或询问,请使用评论功能。

分享扩散:

提出建议

    +

亲~登录后才可以操作哦!

确定

亲~检测到您登陆的账号未在http://hclhub.h3c.com进行注册

注册后可访问此模块

跳转hclhub

你的邮箱还未认证,请认证邮箱或绑定手机后进行当前操作

举报

×

侵犯我的权益 >
对根叔社区有害的内容 >
辱骂、歧视、挑衅等(不友善)

侵犯我的权益

×

泄露了我的隐私 >
侵犯了我企业的权益 >
抄袭了我的内容 >
诽谤我 >
辱骂、歧视、挑衅等(不友善)
骚扰我

泄露了我的隐私

×

您好,当您发现根叔知了上有泄漏您隐私的内容时,您可以向根叔知了进行举报。 请您把以下内容通过邮件发送到pub.zhiliao@h3c.com 邮箱,我们会尽快处理。
  • 1. 您认为哪些内容泄露了您的隐私?(请在邮件中列出您举报的内容、链接地址,并给出简短的说明)
  • 2. 您是谁?(身份证明材料,可以是身份证或护照等证件)

侵犯了我企业的权益

×

您好,当您发现根叔知了上有关于您企业的造谣与诽谤、商业侵权等内容时,您可以向根叔知了进行举报。 请您把以下内容通过邮件发送到 pub.zhiliao@h3c.com 邮箱,我们会在审核后尽快给您答复。
  • 1. 您举报的内容是什么?(请在邮件中列出您举报的内容和链接地址)
  • 2. 您是谁?(身份证明材料,可以是身份证或护照等证件)
  • 3. 是哪家企业?(营业执照,单位登记证明等证件)
  • 4. 您与该企业的关系是?(您是企业法人或被授权人,需提供企业委托授权书)
我们认为知名企业应该坦然接受公众讨论,对于答案中不准确的部分,我们欢迎您以正式或非正式身份在根叔知了上进行澄清。

抄袭了我的内容

×

原文链接或出处

诽谤我

×

您好,当您发现根叔知了上有诽谤您的内容时,您可以向根叔知了进行举报。 请您把以下内容通过邮件发送到pub.zhiliao@h3c.com 邮箱,我们会尽快处理。
  • 1. 您举报的内容以及侵犯了您什么权益?(请在邮件中列出您举报的内容、链接地址,并给出简短的说明)
  • 2. 您是谁?(身份证明材料,可以是身份证或护照等证件)
我们认为知名企业应该坦然接受公众讨论,对于答案中不准确的部分,我们欢迎您以正式或非正式身份在根叔知了上进行澄清。

对根叔社区有害的内容

×

垃圾广告信息
色情、暴力、血腥等违反法律法规的内容
政治敏感
不规范转载 >
辱骂、歧视、挑衅等(不友善)
骚扰我
诱导投票

不规范转载

×

举报说明