深入理解分析各种类型存储的差异与不同

分布式存储解决方案

分布式存储解决方案主要应用于对于存储性能要求不是很高的应用当中。分部是存储解决方案，在用多个主机，多个副本冗余的方案，来保证业务的可靠性。比如众所周知的Google的GFS解决方案就是典型的分布式解决方案。分布式解决方案的最大问题是，存储网络利用传统网络和服务器来传输数据和保存数据到服务器的本地磁盘，这样会导致大量的性能下降。

目前开源的分布式存储解决方案有：

Hadoop的HDFS，HDFS的基本原理和GFS的原理是相同的

有Redhat主导的Ceph，但是相比HDFS，Ceph提供了更丰富的数据访问形式，包括直接块访问、文件访问、对象访问的三种形式。便于在云应用中提供灵活的存储服务。

Ceph的解决方案和HDFS相类似，都分为Master节点和Slave节点来存储数据，其中Master节点主要是负责记录数据所在位置，用户目录树等信息，Slave（inode）节点主要负责存储具体的数据。  

分部是的存储服务有这样的两个优点，价格低廉、若耦合性、易于扩展。分布式存储由于采用了多副本的冗余类型，可以使得单个存储节点的可靠性要求大大降低，就是失去心跳连接，还可以正常访问；同时，分布式存储也没有对于存储服务器的品牌型号有要求，甚至可以是老旧个人计算机；第三代，由于利用了IP网络作为节点间传输数据的方式，因此在扩展时，只受限于IP子网的所容纳主机的个数，在扩展时可以大量增加服务器个数。

但是这样的存储也免不了这些缺点：1、Master节点成为了单点的性能瓶颈和故障中心：由于Master节点存储用户目录树数据和控制信息，所以Master节点的可靠性变得尤为重要，通常采用多机备份的方式来实现可靠性，但是性能瓶颈的问题难于解决。2、存储访问效率低下：由于节点的不可靠性，需要存在多个副本来保证数据的可用性，这样大大浪费了存储空间，也增加了存取时间。3、访问速度低下：由于访问每次的写操作需要写入大量的副本，服务器节点的性能也不佳，存取受限于网络访问速度，导致访问速度并不是很快。

常见的应用场景：

分布式存储的常见应用场景通常位于实时性要求不高的环境下，如大数据分析等应用环境。但是今年来，随着技术的进步，分布式存储的应用领域逐渐增加。

传统存储解决方案

传统存储解决方案是指利用磁盘阵列来实现的存储的方案。有面向文件块的San存储，还有面向文件的Nas存储。通常，客户在购买此类存储时，都会买来自某些厂商的对应的磁盘柜或者磁盘笼。

传统存储解决方案在性能上，相比分布式存储，是有绝对的性能优势的，由于存储在每个盘柜中采用Raid方式来保证存储的高可靠性，大大减少了磁盘的利用率。同时，由于磁盘柜中每个盘笼采用了厂商自我规定的方式传输和同步数据，也远远地高于TCP/IP协议中传输数据的效率，在访问的过程中，会感觉明显很快。

然而传统存储也有很多问题。1、扩展性差：在磁盘阵列部署安装的时候，就已经决定了该存储设备的最大使用空间，当增加盘柜或者磁盘节点时，会造成极大的不便性，需要专业人员来维护。2、耦合性强：每一个磁盘柜，其中每个磁盘笼甚至是磁盘，都必须是同一个厂商的设备，不能再不同厂商设备间混用。3、昂贵的价格：为了满足高可靠和高性能的要求，硬件厂商采用了大量的定制电路和硬件电路来实现，通常每一个盘柜盘笼磁盘的价格也非常的昂贵，使得预算有限的客户可望而不可即。4、地理位置限制：传统磁盘阵列传输通常会使用专门的存储网络SAN，这样的网络无法通过互联网络或者专线网络互联，导致数据异地传输不便。

但是目前的传统存储也有了很大的改进。FCoE技术的使用，使得存储网络中的数据，可以通过传统网络，跨区域、跨地域互联。各厂商间的竞争也大大压低了设备的价格。但是扩展性和分布式存储的方式相比，还是有一定差距的。

高性能分布式存储

随着今年来大规模计算的迅猛发展，人们对于高性能存储的要求逐步增加。不管是分布式存储，还是传统存储的全闪方案，都难以满足日益增加的高性能计算的要求。在最新的全球超级计算机排名中，新晋榜首就在用了利用软件来提高存储性能的HPC存储。Intel等公司也有了高性能存储的开源版本Lustre。

我司的HPE Apollo 4500系列就是这类海量高性能存储的代表。但是楼主对于这类技术研究并不深入，希望有大神能在后面跟帖回复一下对于这类HPC存储的深入理解和使用。