GlusterFS更换硬盘

一、先确认现状

• 双节点 GlusterFS，Replicate（副本）模式
• 状态：1 个正常、1 个异常 → 副本丢失，集群状态 “不佳”
• 说明：坏盘节点的 Brick 已经离线，集群只剩 1 份数据副本，此时不要写数据，避免丢数据。

二、核心前提

• 集群模式：Replicate 2（2 副本），坏一块盘，数据还有一份在好节点上。
• 目标：先修复集群副本，再更换坏盘，保证数据不丢。

三、完整更换流程（按顺序执行）

步骤 1：确认 Brick 状态（命令行）

• 一个 Brick 是 Up（正常节点）
• 一个 Brick 是 Down（坏盘节点）

步骤 2：移除故障 Brick（关键）

1. 先在 Web 管理界面或命令行，把卷设为只读（可选，避免写入）：
   bash

   运行

   gluster volume set cluster-vms-learning read-only on
2. 从卷中移除故障 Brick（示例，替换为你的路径）：
   bash

   运行

   # 格式：gluster volume remove-brick <卷名> <故障节点:/brick路径> force gluster volume remove-brick cluster-vms-learning 172.96.10.XX:/vms/learning_brick force
   • force 是关键，因为 Brick 已经离线。
   • 执行后，卷会变成 Replicate 1（单副本），数据仅保留在正常节点上。

步骤 3：处理坏盘节点（关机 / 更换硬盘）

1. 确认故障节点 IP，关机，更换硬盘。
2. 新硬盘分区、格式化，创建 Brick 目录（和原来路径一致）：
   bash

   运行

   # 示例： mkfs.xfs /dev/sdX mkdir -p /vms/learning_brick mount /dev/sdX /vms/learning_brick # 写入/etc/fstab，开机自动挂载 echo "/dev/sdX /vms/learning_brick xfs defaults 0 0" >> /etc/fstab
3. 开机，确认目录权限、挂载正常。

步骤 4：重新添加 Brick 到卷

• 执行后，GlusterFS 会自动开始 数据同步（Rebalance），把好节点的数据复制到新 Brick。

步骤 5：监控同步进度

步骤 6：恢复读写权限（如果之前开了只读）

四、关键避坑点

1. 绝对不要先格式化坏盘再操作：先从卷里移除 Brick，再换盘，否则集群会彻底找不到副本。
2. 同步期间不要断电 / 重启节点：数据正在复制，中断会导致数据不一致。
3. Web 管理界面操作：
   • 你可以直接在 “节点管理” 里，先把故障节点的 Brick 移除，再添加新节点 / 新 Brick，和命令行效果一样。
   • 注意：添加时要选 Replica 2 模式，否则会变成单副本。

五、如果同步失败怎么办？

1. 检查新 Brick 路径是否存在、权限是否正确（glusterfsd 用户要有读写权限）。
2. 检查节点间网络是否互通（GlusterFS 端口：24007/24008/49152+）。
3. 检查新硬盘是否挂载正常，无 IO 错误：
   bash

   运行

   dmesg | grep -i error df -h /vms/learning_brick

六、一句话总结流程

1. 移除故障 Brick → 2. 更换硬盘、重建 Brick 目录 → 3. 添加 Brick 回卷 → 4. 等待同步完成 → 5. 恢复业务。

更换 GlusterFS 中的硬盘，本质上是一个“替换 Brick”（Replace Brick）的过程。在处理前我先说明一下：根据你的描述，你很可能部署了一个 2 副本 (Replica 2) 的卷，虽然能容一台硬盘故障，但没有任何数据冗余。因此，在动手前务必备份所有重要数据，以防万一操作出现问题。

同时，由于不知道你的卷类型，以下是几种情况下通用的安全流程：

 关键前提：备份数据

在操作前，强烈建议先备份数据。因为你的环境是两块硬盘直做的卷，这意味着它极大概率是一个 Replica 2 卷或一个 Distribute 卷，都属于无奇偶校验的类型。一旦操作失误或另一块盘也发生故障，可能会导致数据全部丢失。

 操作流程：两种主流方法

完成备份后，就可以开始操作了。根据生产环境的要求、设备具体情况和个人偏好，有两种主流方法可以选。

• 方法一：替换Brick法（replace-brick）：GlusterFS 官方推荐的标准方法。逻辑清晰，数据由系统自动同步，操作过程基本在线。

• 方法二：新建 + 删除法（add-brick & remove-brick）：操作模式为“先加后减”。对集群总体压力较小，但对卷类型有限制，适合 Distribute 卷。

方法一：替换Brick法（replace-brick）

这是官方推荐的标准方法，逻辑清晰，操作过程基本在线。

1. 定位故障Brick (Identify)
   首先，确认故障Brick的具体位置和路径。

   gluster volume status <你的卷名> detail仔细记录输出中状态为 Offline 或异常的 Brick 信息（如 server1:/bricks/brick1）。

2. 开始自动替换 (Replace Brick)
   使用 replace-brick 命令，让 GlusterFS 从这个故障Brick所在的副本组中，通过自愈 (Heal) 功能来同步数据。

   gluster volume replace-brick <你的卷名> <故障Brick路径> <新Brick路径> commit force其中<新Brick路径>指的是准备接入的新磁盘的挂载点路径。

3. 物理/系统层更换 (Replace Disk)
   在服务器上安全移除故障硬盘，换上新硬盘，然后对硬盘进行分区、格式化（推荐 XFS 文件系统），并挂载到与故障Brick路径完全相同的位置（例如 /bricks/brick1）。你可能需要将挂载信息写入 /etc/fstab 以确保开机自动挂载，并确保目录权限正确：

   chown -R gluster:gluster /bricks/brick1

4. 监控数据同步 (Heal)
   数据同步是后台自动进行的，你可以使用以下命令监控状态：

   gluster volume heal <你的卷名> info # 查看待同步的文件列表

   gluster volume heal <你的卷名> statistics # 查看同步统计信息，等待同步完成，期间卷可正常读写。

方法二：新建 + 删除法 (add-brick & remove-brick)

这是一种“先加后减”的策略，适合Distribute类型卷或希望手动控制数据迁移节奏的场景。

1. 物理/系统层更换 (Replace Disk)
   与方法一的操作一致。

2. 将新Brick加入集群 (Add Brick)
   先让新硬盘加入存储池（如果新硬盘在同一节点上，此步可简化，直接执行add-brick即可）。如果是不同节点，则需要 peer probe。你的环境是直连两块盘且在同一节点的情况，直接在卷中添加新Brick即可：

   gluster volume add-brick <你的卷名> <新Brick路径>这个命令会立即将数据分布到新Brick上。如果卷有副本（Replica）限制，可能需要指定副本数：
   gluster volume add-brick <你的卷名> replica <副本数> <新Brick路径>

3. 移除故障Brick (Remove Brick)
   启动移除任务，数据将被迁移，可能耗时较长。

   gluster volume remove-brick <你的卷名> <故障Brick路径> start，使用命令持续监控迁移状态，当看到 status 列显示为 completed 时，表示数据迁移完毕。
   gluster volume remove-brick <你的卷名> <故障Brick路径> status

   # Node Rebalanced-files size scanned failures skipped status run time in secs # localhost 1234 2GB 12345 0 0 completed 90.0

4. 提交更改并完成 (Commit)
   确认迁移完成后，执行最终提交：

   gluster volume remove-brick <你的卷名> <故障Brick路径> commit