态势感知日志存储

看看官网手册上有没有相关介绍

一、核心两大根因（90% 场景命中）
根因 1：检索索引仅保留 30 天，原始日志实际存满 180 天（新华三 SecCenter/CSAP 最常见）
平台分两层存储：
ES 检索索引：用于页面快速检索，默认仅保留 30 天，超 30 天自动关闭索引，页面搜不到；
原始日志库（Mongo / 本地磁盘）：按配置 180 天完整保存，只是无索引无法直接检索。
根因 2：磁盘空间不足触发自动清理，提前删除历史日志
平台双清理规则：先满足空间阈值，再满足 180 天时间阈值
磁盘使用率≥90%：系统逐日删除最古老日志，直到空间低于阈值；
磁盘长期高占用，会把 30 天前日志全部清掉，只剩近 30 天数据。
其他次要原因
日志存储分区、索引保留时长配置不一致；
页面查询窗口限制单次最多 30 天，未分段检索；
系统时区 / 时间跳变、ES 索引分片损坏；
外置数据中心归档同步中断，历史日志未同步。
二、分步修复操作（以 H3C 态势感知为主，通用适配深信服 / 阿里云等）
步骤 1：先核查磁盘空间（优先操作）
登录设备 Console/SSH，执行磁盘查看命令：
bash
运行
df -h
重点看 /data /es /hislog 日志挂载分区使用率
2. 处理方案：
使用率＞90%：临时导出无用旧日志、清理系统缓存；长期扩容数据磁盘；
空间充足：排除磁盘自动清理，进入索引配置排查。


磁盘分区使用率查看
步骤 2：修改索引保留时长，开放 180 天检索权限（解决只能查 30 天核心）
H3C SecCenter/CSAP-SA 操作路径
网页后台：系统设置 → 数据索引配置
修改两项参数：
索引开启天数：改为180 天（原默认 30/7 天）；
索引保存时限：同步设置 180 天；
进入 数据索引信息，勾选 30~180 天区间所有已关闭索引，点击开启索引；
等待重建索引（日志量大耗时数小时，期间不影响新日志采集）。


索引配置修改界面
深信服 LAS 态势感知
路径：日志采集 → 存储配置 / 归档设置，修改索引检索窗口至 180 天，关闭空间自动清理提前删除阈值。
阿里云 / 天翼云态势感知
控制台→日志分析→日志库存储策略，修改索引生命周期与日志保存周期统一为 180 天。
步骤 3：正确查询 180 天历史日志（页面限制单次 30 天）
平台检索窗口单次最大支持 30 天，无法一次性拉取 180 天数据，分段查询：
进入「日志检索 / 全部 Syslog 日志」→点击高级查询；
分 6 段检索（每段 30 天）：
第 1 段：151~180 天
第 2 段：121~150 天
第 3 段：91~120 天
第 4 段：61~90 天
第 5 段：31~60 天
第 6 段：0~30 天
每段查询完成后，使用导出功能批量保存 CSV/XLS 日志留存备查。


日志高级查询界面
步骤 4：核对日志存储全局留存配置，避免配置冲突
H3C：系统设置 → 存储策略 / 日志归档，确认 Syslog 原始日志保留天数 = 180 天；
关闭优先按空间清理日志的激进阈值（可下调至 95% 触发清理）；
外置数据中心场景：检查归档同步任务是否正常，同步中断会导致历史日志仅本地保留、检索无数据。
三、长期优化方案（防止再次出现该问题）
扩容日志存储盘：按每日 Syslog 日志增量计算容量，预留 20% 以上冗余，避免空间触发自动删日志；
索引与原始日志留存时长统一：存储 180 天，索引同步 180 天，不要索引 30 天、存储 180 天；
定期归档导出超 90 天日志：将老旧日志导出至对象存储 / 外置服务器，释放本地磁盘；
开启日志备份任务：配置每日自动归档备份，即使本地磁盘清理，备份文件可永久审计；
版本升级：老旧版本（E6101 及以下）索引机制存在缺陷，升级至最新稳定版修复索引自动关闭 BUG。
四、快速自检清单（1 分钟定位问题）
df -h 日志分区使用率是否超过 90%？→扩容 / 清理
数据索引配置索引保留天数是否 30 天？→修改为 180 天并开启历史索引
存储策略原始日志留存是否确实 180 天？→统一配置
是否单次查询跨度超过 30 天？→分段检索
ES/Mongo 服务是否正常、索引分片无丢失？→重启存储服务重建索引

上图看下，