并行文件系统简介

并行文件系统简介曙光信息产业股份技术支持中心陈华新chenhx@sugon.com目录并行文件系统介绍影响并行文件系统原因并行文件系统介绍 文件系统文件系统是操作系统用于确立磁盘或分区上的文件的方式和数据结构； 即在磁盘上组织文件的方式。 也指用于储存文件的磁盘或分区， 或文件系统类型。 操作系统中负责管理和内存文件信息的硬件机构称为文件管理平台， 简称文件系统。文件系统是操作系统的一个重要构成部分， 通过对操作系统所管理的传输空间的抽象，向用户提供统一的、 对象化的访问接口， 屏蔽对物理设备的直接操作和资源管控。文件系统类型 文件系统特点FAT、 NTFS、 EXT2、 EXT3、 EXT4、 HFS、 ReiserFS、 VMFS、 JFS、 UFS、 VXFS、 ZFS、ButterFS、 RAW文件系统本地文件系统与分布式文件系统 本地文件系统（ Local File System）本地文件系统是指文件系统管控的物理内存资源直接联接在本地节点上， 处理器通过平台总线可以直接访问。 分布式文件系统（ Distributed File System）分布式文件系统是指文件系统管控的物理内存资源不必定直接联结在本地节点上还是借助计算机网络与节点相连点上， 而是借助计算机网络与节点相连。

统。并行文件系统是应用于多机环境的网络文件系统， 单个文件的数据运用分条等方式存放于不同的I/O节点之上， 支持多机多个进程的并发存取， 同时支持元数据和数据的分布放置， 并提供单一的目录空间。在高性能计算中习惯称为并行文件系在高性能计算中习惯称为并行文件系 大容量： 现在的数据量比以往任何时期更多， 生成的速率更快； 高性能： 数据访问必须更高的时延； 高可用性： 不仅要确保数据的高可用性， 还要确保服务的高可用性； 可扩展性： 应用在不断变化， 系统体量也在不断变化， 这就规定系统提供较好的扩展性， 并在功率、 性能、 管理等方面都能适应应用的差异；变化； 可管理性： 随着数据量的急速下降， 存储的体量越来越庞大， 存储平台原本也越来越复杂， 这给平台的管理、 运行带来了很大的维护费用； 按需服务： 能够根据应用需求的不同提供不同的服务， 如不同的应用、 不同的客户端环境、 不同的性能等。应用对内存系统的需求集群平台构架 传统的分布式文件系统（ NFS） 中， 所有数据和元数据存放在一起， 通过单一的储存服务器提供。 这种方式通常称之为带内模式（ In-band Mode） 。

NFS体系构架传统的分布式文件系统 NFS的特点：1. 从1985年的nfs1到如今的nfs4， 发展多年， 简单而且成熟；2. Linux直接在内核予以支持， 使用便利； NFS的优点：1.可扩展性差， 难以应用于大量内存节点和客户端的集群式（ cluster） 系统；可扩展性差， 难以应用于大量内存节点和客户端的集群式（2.文件服务器的定位（ location） 对客户端非透明， 维护困难；3.缓存管理制度采取定期刷新模式， 可能会发生文件不一致性问题；4.不支持数据复制， 负载均衡等分布式文件系统的高级特征， 很容易出现平台的性能短板；5.NFS服务器的替换会使得平台暂停服务6.对于异地服务的支持能力不强NFS优缺点） 系统； 利用传输区域网络（ SAN） 技术， 将应用服务器直接和内存设备相连接， 大大提高数据的存储能力， 减少数据存储的延时。 所有的应用服务器都可以直接访问内存在SAN中的数据 只有关于文件信息的元数据才经过元数据服务器处理提供， 减少了数据存储的中间环节减少了存储效率据传输的后面环节， 提高了传输效率， 减轻了元数据服务器的负载。每个元数据服务器可以向更多的应用服务器提供文件系统元数据服务。

这种方式通常称之为带外方式（ Out-of-band Mode） 。减轻了元数据服务器的负载新的分布式文件系统结构 PVFS， 开源 Lustre ， 开源 Parastor， 曙光商业软件 GPFS， IBM的产品， 现已开源 GFS， Red Hat商业软件 PFS， Intel商业工具 GoogleFS， google商业工具， 主要用于互联网应用 HDFS， Apache开源， 基于java的支持 FastDFS， 主要用于互联网应用 ……常见的并行文件系统PVFS是开源的， 于1998年公开， 并且在GNU公共 版权可证下发布。 它无需特殊的软件设施和内核的削弱， 可以直接应用于廉价的Linux集群。 PVFS目前为止有两个重要版本： PVFS1是初期的版本， 在运行时存在严重的单点故障问题， 一旦管理服务器宕机， 则整个平台都能够正常工作； 而且，PVFS的程序开发者认为代码写得更加混乱并行文件系统， 因而， 他们整理并重 写了PVFS的源代码， 并公布在中单独成立管务是各个运行进程的节PVFS了PVFS2。 在PVFS2中， 不再单独建立管理服务器， 而是各个运行IOD进程的结点都可以接管管理服务器功能， 以此来提高平台的单点故障问题。

PVFS提供重要的4个功能：一致性的访问名字空间支持现存的平台访问模式数据分布在集群结点不同机器不同的内存上为应用程序提供高性能的数据访问模式 PVFS使用了三种类别的节点：管理结点(mgr)运行元数据服务器， 处理所有的文件元数据（ 元数据是表述文件信息的文件）I/O节点(iod)运行I/O服务器， 存储文件系统的文件数据，负责数据的储存和检索负责数据的储存和检索PVFS计算结点处理应用访问， 利用libpvfs这一客户端的I/O库， 从底层访问PVFS服务器I/O节点、 计算结点是一个集群的节点可以提供其中的一种功能， 也可以同时提供其中的两种甚至全部三种用途 PVFS的运行机制当开启、 关闭、 创建或删除一个文件时， 计算节点上的一个应用借助libpvfs直接与元数据服务器通信PVFS运行机制在管控节点定位到一个文件以后，它向这个应用返回文件的位置并行文件系统， 然后使用libpvfs直接联系相应的I/O节点进行读写操作， 不必与元数据服务器通信，从而大大提高了访问效率 PVFS存在的难题：1. 集中的元数据管理成为整个平台的难题， 可扩展性受到一定限制。

2. 系统容错性有待提高： 数据没有采取相应的容错模式， 并且没有文件锁， 其可扩展性较差， 应用规模巨大时易于引起服务器崩溃。展性较差， 应用规模巨大时容易造成服务器崩溃。PVFS3. 系统可扩展性有待加强： PVFS使用静态配置， 不具备动态扩展性， 如果要扩充一个I/O节点， 系统需要中止服务， 并且不能做到空间的合理运用。4. PVFS目前还不是由商业公司最后产品化的商品， 而是基于GPL开放授权的一种开放科技。 虽然免费获得该科技使整体平台利润进一步提高， 但因为没有商 业公司作为发布方， 该科技的后续更新维护等一系列服务， 都无法受到保证。Lustre 是HP， Intel， Cluster File System 公司联合美国能源部开发的Linux集群并行文件系统。 它来源于卡耐基梅隆大学的NASD 项目研究工作， 已经在学校、 实验室和超级计算研究中心等受到广泛应用。Sun称Lustre是“目前国内具备最佳可扩展性的并行文件系统” ， 现在中国Lustre十大超级计算机中的六个以及40%的TOP100超级计算机都配备了这个平台。Lustre 元数据存储与管控MDS负责管理元数据， 提供一个全局的命名空间， Client可以借助MDS读取到保存于MDT之上的元数据。

在Lustre中MDS可以有2个， 采用了Active-Standby的容错模式，当其中一个MDS不能正常工作时， 另外一个后备MDS可以开启服务。 MDT只能有1个，不同MDS之间共享访问同一个MDT。 文件数据传输与管控OSS负载提供 O服务OSS负载提供I/O服务， 接受并服务来自网络的请求。 通过OSS， 可以访问到保存在OST上的文件数据。 一个OSS对应2到8个OST。 OST上的文件数据是以分条的方式保存的， 文件的分条可以在一个OSS之中， 也可以保存在多个OSS中。 Lustre的传统之一是其数据是基于对象的职能存储的， 跟传统的基于块的传输模式有所不同。接受并服务来自网络的请求通过OSS以访问到保存在Lustre Lustre系统访问入口Lustre通过Client端来访问平台， Client为挂载了Lustre文件系统的任意节点。 Client提供了Linux下VFS（ 虚拟文件系统） 与Lustre系统之间的接口， 通过Client， 用户可访问操作Lustre系统中的文件。Lustre访问模式Client目录操作， 文件开打/关闭元数据闭， 元数据， 并发操作并发操作文件内容，IO及文件锁IO及文件锁MDSOSS恢复， 文件状况和文件建立 目前Lustre文件系统最多可以支持100000个Client， 1000个OSS 和2个MDS节点。

Lustre系统中可以同时运行1~3个功能组件。 不过Lustre一般运行于高性能计算机平台之上， 为了提升Lustre文件系统的性能， 通常MDS、OSS和Client是分开运行在Lustre不同的节点之上的。实验与应用早已证明 实验与应用尚未证明， Lustre文件系统的功耗和可扩展性都不错； 还拥有基于对象的智能化存储、 安全的认证体系、 比较健全的容错模式等特点， 而且Lustre还推动了文件锁功能；L文件系统的性能和可扩展性都错还Lustre 相对于PVFS， Lustre的可用性和扩展性以及功耗上都有较大的提升。然而， Lustre需要特殊设备的支持， 并且Lustre目前还没推动MDS的集群管理， 虽然相比PVFS的单MDS， Lustre的双MDS在可用性上而是增加不少， 但是当平台超过一定的体量之后， MDS还是很有也许作为Lustre系统中的短板并行文件系统对比并行文件系统对比曙光Parastor曙光Parastor曙光Parastor曙光Parastor曙光Parastor影响并行文件系统原因 网络带宽网络带宽往往决定着Lustre文件系统的聚合带宽千兆以太网理论吞吐率为128MB/s， 实测千兆以太网单线程单条块(stripe)的吞吐率约为112MB/s， 再提高条块的数量并没有获得lustre良好的可扩展性，影响并行文件系统原因Lustre公布的千兆以太网端到端Lustre的吞吐率为118MB/s。

硬盘、 RAID及储存不同接口的磁盘(固态硬盘、 FC、 SAS、 SATA硬盘)传输的速度不同；各种RAID级别的吞吐率是不同的， RAID0最快， 但最不安全， RAID1最安全， 但吞吐率较低， 通常采取RAID5；影响并行文件系统原因RAID创建时的每个条带单元的大小(chunk-size)决定了一次向阵列中每个磁盘读取数据的量， 对不同负载下阵列的读写性能有多大的影响， 一般来说，chunk-size的值越小性能会越好， 但chunk-size太小， 对Lustre I／ O性能会有非常大的妨碍。不同存储的主机接口相差非常大， 有infiniband、 FC、 SAS等接口。 块大小(record size)影响并行文件系统原因 条块化条块化是Lustre能并发IO的关键， 在Lustre使用时， 有三个条块化有关的参数的设定影响到Lustre的并发性能， 一个是条块的大小(stripe-size)， 一个是条块的数量(stripe-count)， 一个是条块的起始条块号。影响并行文件系统原因在修改Lustre所用条块的起始条块号时， 始终设定其为-1， 这样可以确保OST间的负载平衡， 防止因对单个OST争用而导致的性能难题；条块的大小(stripe-size)X条块的数目(stripe-count)就是文件的大小， 当stripe-count值一定时， stripe-size的值就取决于文件的大小。谢谢！谢谢！谢谢谢谢

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-127865-1.html