
5.2典型的分布式文件系统

分布式文件系统是一个相对活跃的研究方向. 目前,许多大学,研究机构和公司已经或正在开发自己的分布式文件系统来支持那些I / O密集型应用程序. 为了利用集群系统. 近年来,美国,澳大利亚,日本和其他国家的大学开发了一些独特的分布式文件系统. 一些计算机制造商还开发了自己的分布式文件系统. 这些系统通常是专用文件系统,主要是在特定UNIX操作系统上运行的工作站或并行计算机. 开源社区还开发了一批可以在Linux操作系统上运行的分布式文件系统. 这些开源项目极大地促进了分布式文件系统的开发和应用. 现有的分布式文件系统具有自己的特征,每个都有自己的优势并行文件系统,每个都有自己的重点. 已经出现了许多著名的分布式文件系统,例如PVFS,GPFS,zFS,Google文件系统,Lustre等. 以下将集中讨论两个分布式文件系统PVFS和Lustre.

5.2.1并行虚拟文件系统(PVFS)

PVFS [2](并行虚拟文件系统)项目是克莱姆森大学创建的用于运行Linux群集的开源项目. 因此,PVFS不需要特殊的硬件设备. 普通PC可以运行Linux系统. PVFS现在被广泛使用. 许多分布式文件系统都是基于PVFS [3]设计和实现的,例如国内的浪潮并行文件系统. 当前版本是第二版[4].

与一般的分布式文件系统一样,PVFS将数据存储在多个群集节点中,并将数据存储在这些节点的本地文件系统中,然后多个客户端可以同时并行访问这些数据. PVFS具有以下4个重要功能:
1)名称空间的一致性: 为了便于安装和使用,PVFS提供了统一的文件名称空间.
2)文件数据分布在不同群集节点的本地磁盘上: 为了高速访问群集系统中的文件数据并行文件系统,PVFS将文件数据划分为块,并将其存储在不同的群集节点中(称为I / O节点(如图5.4所示)位于多个磁盘上,从而消除了由单个I / O路径引起的瓶颈问题,并增加了客户端的并发带宽.
3)与现有系统上的文件访问方法兼容: 已安装的PVFS文件和目录可以继续使用现有Linux系统上的命令和工具(例如ls,cat,dd,rm等)来方便用户. Linux内核中的模块支持此功能.
4)为应用程序提供高性能的数据访问方法: PVFS还提供了libpvfs库,用于通过专有接口访问PVFS文件系统. libpvfs库直接连接到PVFS服务器,无需将消息传递到内核,从而提高了访问效率.
本文来自电脑杂谈,转载请注明本文网址:
https://www.pc-fly.com/a/jisuanjixue/article-201657-1.html
我身边成千上万的企业退休老人都和我一样