天空一声巨响，GPFS闪亮登场 （GPFS vs HDFS）

在没有GPFS集群文件系统前

一个硬盘(LUN或者一台存储)就只是一个单纯的、纯粹的、赤裸裸的磁盘：

读写速度是一个不可逾越的界限、永远都只能被一台所使用、坏了就坏了，数据也就Game over了，

但是自从有了GPFS，一个硬盘从此发生了质的改变！

GPFS的强大性能，在流媒体领域和海量数据中，会倍受关注和喜爱！

最后，让我们以最热烈的欢呼声来迎接它——GPFS

GPFS 是 IBM 公司第一个共享文件系统，起源于 IBM SP 系统上使用的虚拟共享磁盘技术( VSD )。作为这项技术的核心， GPFS 是一个并行的磁盘文件系统，它保证在资源组内的 所有节点可以并行访问整个文件系统；而且针对此文件系统的服务操作，可以同时安全地在使用此文件系统的多个节点上实现。 GPFS 允许客户共享文件，而这些文件可能分布在不同节点的不同硬盘上。 与 NFS 相比并行文件系统i o特征，GPFS 在 SAN 环境下可以提供更好的性能。

GPFS系统优势：高性能、跨平台设计、数据一致性、数据安全性、管理简单等！举例来说：

高性能：①DS4300+GPFS=DS4700，低成本的存储+GPFS可以实现高端存储的高性能读写（提供存储性能的同时可以节约成本）事实上，IBM的SoNAS存储就配置有GPFS

采用分布式集群架构，跨整个系统的动态数据分区可均衡负载以实现高可扩展性，协同定位的事务可以将瘦客户端性能提高2-3倍，广域网 (wan) 支持可跨远程站点进行扩展：通过将数据通信并行化和选择同步或异步确认来实现高性能和低延迟。由于那些副本有许多放置选项，即便集群中的许多存储节点宕机或速度慢，你也可以完成写入，只要集群中正常运行的那些节点仍能处理负载。谈到moebius集群的架构，david zhou表示，moebius集群实质上是一个非共享磁盘架构(share-nothing)的并行系统。

跨平台设计：

GPFS 支持在一个集群内加入异构的平台。

支持异构的硬件环境：System p, System x。

支持异构的操作系统：AIX, Linux

简而言之：无论你的操作系统是linux还是aix或者window，我都可以让你们同时访问我的数据

数据一致性：

GPFS 通过一套复杂的信令管理机制：令牌管理机制保证数据一致性。通过这套机制允许任意节点通过各自独立的路径到达同一个文件。即使节点无法正常工作， GPFS 也可以找到其它的路径

数据安全性：

在大容量日志恢复模式下，只记录必要操作，不记录所有日志，这样可以提高性能。比如一次在中插入数十万条记录时，在完整恢复模式下每一个插入记录的动作都会记录在日志中，使日志文件变得非常大，在大容量日志恢复模式下，只记录必要的操作，不记录所有日志，这样一来，可以大大提高的性能，但是由于日志不完整，一旦出现问题，数据将可能无法恢复。因为我们知道在出现崩溃的情况下， 我们可以用日志来恢复：任何尚未附加到数据页的记录都将先从日志记录中重做（这叫向前滚动恢复，也叫做 redo）。

GPFS 的 fail-over 功能通过规划，将数据分布到不同 failure group 内达到高可用性，减少单点故障的影响。为了保证数据可用性， GPFS 在多个 failure group 内为每个数据实例做备份，即使创建文件系统时没有要求复制， GPFS 也会自动在不同的 failure group 内复制恢复日志。

了解ha高可用集群以及lb负载均衡集群，和iscsi共享存储，可组建健壮性较高的互联网系统构架并行文件系统i o特征，熟悉ha高可用集群以及lb负载均衡集群的管理。然后在每个高可用集群节点中，为两个不同的业务分别配置两个不同的upstream服务器池，从而实现前端反向代理高可用和负载均衡，高可用集群后端的服务器池在不同的业务中也能提供负载均衡。高可用集群—mysql-ab 主从服务器搭建、mysql-ndb 并行服务器搭建、负载均衡集群—lvs 服务器搭建、nat 方案, route 方案工作原理、ipvsadm 管理工具、redhat 套装 pluse 搭建高可用负载均衡 lvs 服务、heartbeat ldirectord 搭建高可用负载均衡 lvs 服务。

管理简单：

GPFS 自动在各个节点间同步配置文件和文件系统信息，而且在同一个节点内，对 GPFS 的管理可以在任一个节点上进行。

支持超大文件或文件系统：

理论上支持2的99字节大小的文件系统

理论上每个文件系统支持2，147,483,648（2Billion）个文件

理论上每个集群最多可以挂载256个文件系统

目前国内文件数据最多的GPFS文件系统内超过1亿个文件

消除热点磁盘竞争：

根据平衡二叉树的启发，自然就想到平衡多路查找树结构，也就是这篇文章所要阐述的第一个主题b~tree，即b树结构(后面，我们将看到，b树的各种操作能使b树保持较低的高度，从而达到有效避免磁盘过于频繁的查找存取操作，从而有效提高查找效率)。张聪群认为企业集群的功能和运营效率是形成集群竞争力的主要因素，网此要保持和持续提升企业集群竞争力，需要整合集群结构、建立或调适集群内部的运行机制，主要应做好以‘f几个方面的工作：正确处理企业集群内部 的台作与竞争：提高企业集群的技术创新能力。lvs是一个基于内核级别的应用软件，因此具有很高的处理性能，用lvs构架的负载均衡集群系统具有优秀的处理能力，每个服务节点的故障不会影响整个系统的正常使用，同时又实现负载的合理均衡，使应用具有超高负荷的服务能力，可支持上百万个并发连接请求。

GPFS 可用性机制（类似卷组中的Quorum）

GPFS 的数据完整性 一方面是由数据安全机制来保证，另外也通过一套可用性判断机制来完全保证数据完整性与系统安全。

GPFS 提供三套不同的 quorum 机制来判断系统当前的状态，其中 File Descriptor Quorum 是系统内置的，不能做配置，另外两种 node quorum 和 tiebreaker quorum 方式只能二者选其一，使用那种方式要基于我们的系统环境与可靠性分析。

比如系统正在被保护状态，我们选第二个选项，默认为 1 这个1是指机器重新启动后的一次为不保护状态，当机器在次重起后，自动转到保护状态，那么在重起后我们所做的操作在第二次机器重起时就会被自动被保护起来，第三个不保护状态选择后就不用介绍了吧：)。比如系统正在被保护状态，我们选第二个选项，默认为 1 这个1是指机器重新启动后的一次为不保护状态，当机器在次重起后，自动转到保护状态，那么在重起后我们所做的操作在第二次机器重起时就会被自动被保护起来，第三个不保护状态选择后就不用介绍了吧：）当你看到 冰点图表在不停的闪动 红x的时候 就是不在保护状态，这时要注意你的设置了。⑵第二个为自由选项，比如系统正在被保护状态，我们选第二个选项，默认为1，这个1是指机器重新启动后的一次为不保护状态，当机器再次重起后，自动转到保护状态，那么在重起后我们所做的操作在第二次机器重起时就会被自动被保护起来。

与raw/jfs/jfs2 在I/O 性能上相比较，GPFS一直是王者，且从未被超越！

★各部门注意了，这里我们没有和HDFS（Hadoop Distributed FS）做深入的研究

★★ 以下是对这两种高性能、分布式文件系统进行一个粗略的比较。

维基百科在介绍GPFS的同时也将HDFS 与GPFS做了一些简要的比较。

IBM官网

国外某权威的文档

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-106635-1.html