消失的存储 之 主机挂载的共享文件系统显示空间不准确

消失的存储

之主机挂载的共享文件系统显示空间不准确

一、   问题描述：

CAS平台正常挂载存储卷，主机池和主机界面都能正常添加。添加完成之后发现在存储上设置的卷为7.2T，在主机池上能读到7.13T正常，但是在主机的存储选项卡界面看到可用存储只有2.33T。差别很大，攻城狮们都表示零容忍，必须查明原因并给出解决方案。

二、   问题分析：

1、确认问题现象：

登录CAS平台确认确实存在该现象，且所有主机识别该存储卷都是2.34T。

2、SSH到主机的后台，执行命令查看磁盘和分区挂载识别情况，确认是否存在前后台显示不一致情况：

执行fdisk –l命令结果见下，识别到的存储卷/dev/sdb大小超7T。

root@nmky-1:~# fdisk -l

Disk /dev/sda: 300.0 GB, 299966445568 bytes

255 heads, 63 sectors/track, 36468 cylinders, total 585871964 sectors

Units = sectors of 1 * 512 = 512 bytes

Sector size (logical/physical): 512 bytes / 512 bytes

I/O size (minimum/optimal): 262144 bytes / 262144 bytes

Disk identifier: 0x00048102

   Device Boot      Start         End      Blocks   Id  System

/dev/sda1   *         512    58593791    29296640   83  Linux

/dev/sda2        58594302   585871359   263638529    5  Extended

Partition 2 does not start on physical sector boundary.

/dev/sda5        58594304    97656319    19531008   83  Linux

/dev/sda6        97656832   115263487     8803328   82  Linux swap / Solaris

/dev/sda7       115264000   585871359   235303680   83  Linux

Disk /dev/sdb: 7836.2 GB, 7836167831552 bytes

255 heads, 63 sectors/track, 952693 cylinders, total 15305015296 sectors

Units = sectors of 1 * 512 = 512 bytes

Sector size (logical/physical): 512 bytes / 512 bytes

I/O size (minimum/optimal): 512 bytes / 524288 bytes

Disk identifier: 0x00000000

Disk /dev/sdb doesn&＃39;t contain a valid partition table

root@nmky-1:~#

执行df –TH查看系统当前已挂载的空间大小，执行结果见下，挂载的磁盘分区/dev/sdb识别大小是2.6T。

root@nmky-1:~# df-TH

df-TH: command not found

root@nmky-1:~# df -TH

Filesystem     Type      Size  Used Avail Use% Mounted on

/dev/sda1      ext4       30G  3.0G   25G  11% /

udev           devtmpfs   34G   13k   34G   1% /dev

tmpfs          tmpfs      14G  304k   14G   1% /run

none           tmpfs     5.3M     0  5.3M   0% /run/lock

none           tmpfs      34G     0   34G   0% /run/shm

cgroup         tmpfs      34G     0   34G   0% /sys/fs/cgroup

/dev/sda5      ext4       20G   69M   19G   1% /var/log

/dev/sda7      ext4      238G  106M  225G   1% /vms

/dev/sdb       ocfs2     2.6T   13G  2.6T   1% /vms/share-1

root@nmky-1:~#

结果显示前后台数据同步，不存在不一致的情况。

3、确认了问题现象后又排除数据不同步的问题，现在问题定位在于存储卷大小和挂载的文件系统大小不一致，出现该问题有2种原因：

l  存储上做了动态卷扩容：该存储卷大小原来是2.6T，且被格式化成ocfs2格式，后来在存储上做了动态扩展卷手动将卷扩容，由于该卷已经格式化成CAS能够识别的文件系统格式了，扩展卷只能扩展卷本身，而无法将卷增加的部分格式化成相应的文件系统。所以CAS平台无法识别没有格式化成ocfs2文件系统的卷扩展部分所以显示有误差；

l  CAS平台和存储上删除和新增存储卷：该平台之前挂载了2.6T的ocfs2格式的存储卷，后来在CAS平台删除该卷，在存储上也删除该卷。同时在存储上新建一个比2.6T大的超过7T的存储卷。由于新卷使用的是原存储卷的存储空间，按照存储原理，超7T的卷含有原2.6T卷的文件系统，CAS平台读取到7T的存储卷内部含有完整的文件系统信息就不会提示格式化，此时就只能使用已有文件系统信息的2.6T卷，剩余超过4.4T由于没有格式化成相应的文件系统无法访问使用。所以出现在主机池共享文件系统读出空间是7T，而主机界面可使用的存储池是2.6T的现象。

三、   解决方法：

问题原因定位在没有识别到的存储卷部分，所以解决方法就是将该部分存储卷格式化成CAS能识别的文件系统格式即可正常访问。由于手动格式化成制定的文件系统需要将整个卷进行格式化，即原来2.6T的部分也需要格式化，所以解决该问题的处理方法是：

1、备份数据：备份下2.6T的存储部分的数据

2、格式化：Web方式登录CVM管理平台，在主机池的共享文件系统选项卡，点击相应存储卷的“格式化文件分区”按钮，弹出的窗口确认下开始格式化，格式化完成后到主机界面刷新下就会发现识别正常了。