分布式文件系统的原理分析与改进_姚育才

2008年第6期的摘要: 本文提出了NFS文件系统的设计原理. NFS主要用于小型局域网，并且客户端数量有限. 基于NFS的局限性，详细介绍了Andrew文件系统AFS，并通过比较说明了AFS的强大功能和机制. 分布式系统的发展非常迅速，更成熟的分布式系统也已经出现并被广泛使用. 关键字: 分布式文件系统； NFS；显影图像分类号: TP311文件识别码: 物品编号: 1672-0547（2008）06-0079-02收稿日期: 2008-11-02作者简介: 姚玉才（1976-），男，桐城人，安徽，铜陵学院数学与计算机科学系教师，安徽大学计算机与应用硕，研究方向: 数据挖掘，机器学习等. 文件系统是数据共享的主要方式，它是操作系统在计算机硬盘上存储和检索数据的一种逻辑方法. 这些硬盘可以是本地驱动器，网络上使用的卷或导出共享上的存储区域网络（StorageArea网络，SAN）. 特别是，文件系统实现了Unix风格的操作系统所需的基本操作. 通过抽象化操作系统管理的存储空间，为用户提供了统一的，面向对象的访问界面，从而屏蔽了物理设备的直接操作和资源管理.

分布式文件系统支持在公司Intranet上以文件形式共享信息. 精心设计的文件服务系统使用户能够以与访问本地磁盘文件类似的性能和可靠性访问存储在服务器上的文件. 分布式文件系统允许程序对远程文件进行操作，例如存储和访问本地文件，从而允许用户访问公司Intranet中任何计算机上的文件. 1.分布式文件系统的发展分布式文件系统的最初尝试出现在1970年代. 到1980年代中期，网络文件系统（NFS-NetworkFile System）的出现使分布式文件系统逐渐发展并应用于各个领域. 当前的分布式文件系统主要包括基于共享文档和缓冲区的文件系统，例如NFS等. 基于并行处理的基于集群的文件系统（例如GFS）和基于复制机制的文件系统（例如Coda）. 早期的分布式文件系统是NFS和AFS（Andrew文件系统）中最具代表性的文件系统，通常是为了提供具有标准接口的远程文件访问，而更多地关注访问性能和数据可靠性. 本文简要介绍了网络文件系统. 2. NFS文件系统NFS（网络文件系统）由Sun于1985年首次开发，它是TCP / IP网络上的文件共享系统.

这是一种用于共享网络上文件的机制，该网络是由一系列NFS命令和进程组成的分布式客户端/服务器文件系统. 最新版本的NFS并未更改核心设计，但提高了安全性能并解决了一些管理问题，例如自动安装远程文件系统. 客户端安装服务器提供的共享文件系统后，通过远程过程调用（RPC）向服务器发出服务请求，服务器根据请求执行相应的操作并返回结果，从而方便地共享信息. NFS使用共享的文档和缓冲区机制. 系统中的每个节点都可以用作服务器或客户端，但是客户端和服务器是不对称的. 服务器向客户端打开其自己的文件系统，目录和其他资源以供访问，这等效于以本地文件系统的形式向每个客户端提供远程文件系统. 存储磁盘. 其结构如图1所示. 图1 NFS客户端/服务器3. NFS设计原理NFS使用客户端上的系统API共享文件. 该API是通过远程过程调用（RPC）实现的，但是NFS对服务器或缓存的状态不负责. 管理员可以建立对远程系统上文件的访问，以便用户不会感觉到他们正在访问远程文件. NFS在文件系统调用层中实现分发（请参见图2），但是对文件的读写是在块中进行的.

客户端通过一些核心函数调用使用远程文件系统；在服务器端，NFS服务器监视进程以提供文件数据操作. 一般来说分布式文件系统 原理，主要的两个监视过程是Mountd和Nfsd，其中Mountd用于监视客户端的安装请求并发送相应的响应信息，例如客户端地址和服务器地址. 而Nfsd进程用于监视客户端对File的读写请求，并返回相应的文件数据. 图2 NFS具体来说，客户端主要负责处理用户对远程文件的操作请求，请求的内容以一定的报文格式从网络发送到文件的服务器端；服务器端接收到客户端请求，调用机器的系统功能进行文件的实际操作，并将结果以某种格式返回给客户端. 客户端从服务器返回结果后，将分析分布式文件系统的原理和改进. 姚玉才1，张琳娜3（1.安徽大学，安徽合肥3.工程兵指挥学院，江苏徐州230039； 2.铜陵学院，安徽铜陵244000； 221004）工程科学与技术79-《》 2008年6月6日，它返回给用户. 为了提高系统性能，NFS系统的客户端和服务器端均采用了缓存技术.

与独立文件系统相比，区别在于NFS仅修改服务器端的缓存写操作以立即写. 这样，当服务器崩溃并恢复时，客户所需要做的就是发送另一个请求，但是这种方式要求服务器的缓存必须立即写入磁盘，以避免由于服务器崩溃而造成永久性数据丢失. 使用客户端缓存可以避免频繁的网络传输并提高系统性能，但这也会导致缓存一致性问题. NFS使用缓存有效性验证来限制显示不一致数据的时间. 发生写操作时，数据将被写入高速缓存和服务器. 这意味着到达服务器的后续读取请求将获得新数据. 但是，如果有多个客户端持有特定块的副本，则一个客户端的写操作将导致其他客户端缓存旧数据. 但是，数据不一致的持续时间受到时间戳的限制. 当时间戳更改时，为该文件缓存的所有数据块都将被丢弃. 第四，NFS文件系统的改进NFS主要用于小型局域网中，客户端数量有限. 当它用于跨越几座建筑物或成千上万的客户时，其效果非常不令人满意. AFS（Andrew文件系统）是一个分布式文件系统，可以扩展到成千上万的用户. 它由卡内基梅隆大学（CMU）和IBM于1984年共同开发. 其全名是Andrew File System.

AFS的设计目标是支持大学校园网络中数千个工作站之间的文件共享. 它的设计功能包括: 可伸缩的体系结构，通过从多个服务器进行数据复制来支持多个用户，以及回调机制维护多个副本之间的一致性. AFS是围绕一组称为单元的文件服务器组织的，每个服务器的标识通常隐藏在文件系统中. 其表面层的基本结构与现代NFS实现非常相似，但是AFS是第一个在客户端上使用永久缓冲策略的文件系统. 缓冲包括文件和目录信息. 一旦数据被缓冲，客户端的只读操作将不需要服务器的参与. 客户端的缓冲区是永久的，即存储在本地文件系统中. 因此，即使在客户端或服务器重新启动之后，系统仍可以通过连接到每个文件的DateVersion属性名称重用缓冲. AFS具有强大的可伸缩性. 如图3所示，客户端和服务器在AFS中是分开的. 服务器集合称为Vice，客户端工作站称为Venus. 图3AFS通过使Vice物理上安全并使用Vice和Venus之间的加密传输来确保安全. 通过使用简单的设计和缓存来确保可伸缩性和性能. 通过建立指向本地名称空间中共享名称空间中合适的可执行文件的符号链接来提供异构性.

通过在Vice之间复制文件来提供完整性和可靠性. 从AFS3.0开始，AFS作为Transarc的产品进入了市场. 1998年，IBM收购了Transarc，并使AFS成为一种称为OpenAFS的开源产品. 所有客户的AFS目录都是相同的，并且具有唯一的名称空间. / afs是AFS的根目录，其下的子目录称为单元分布式文件系统 原理，每个单元对应于一组服务器. 单元的名称通常是服务器所有单元的域名. AFS服务器以卷结构存储文件，并且可以在服务器之间复制和移动卷. 与NFS不同，AFS必须在客户端和服务器上都响应RPC. 这样，客户端可以维护有关当前文件的信息. AFS的客户端-服务器结构限制了其最终的可伸缩性，因为服务器必须处理所有缓存未命中，回调和目录更改. 服务器状态和文件位置索引的大小也限制了可伸缩性. 如果应用程序仅访问大文件的一小部分，则AFS的性能会很差. 它既不能满足对分布式数据或其他大型随机访问文件的需求，也不能解决数据不一致的问题. 断开连接的AFS部件无法再次连接到原始文件系统. 失败的文件服务器进程必须与仍在运行的AFS文件服务器重新同步，但是您不能添加断开连接后可能保存在本地的新更改.

所有信息似乎都在一台服务器上，因此用户不必去网络上的多个位置来查找所需的信息. 在上述网络共享文件系统中，NFS是最早实现网络文件共享的文件系统. 由于其简单性，NFS已成为事实上的行业标准. 由于NFS采用UNIX系统的唯一身份验证系统，因此服务器端需要一个类似于UNIX风格的安全系统，这使得服务器端的应用范围不大. 后来开发的一些分布式文件系统，例如AFS，AFS的客户端服务器结构限制了其最终的可扩展性，还有一些专用的系统文件系统，例如DFS，SAN是一种体系结构，而NAS是一种特定的产品. 五，分布式文件系统的成就网络技术的发展和普及极大地促进了网络存储技术的发展. 基于光纤通道的SAN和NAS已被广泛使用. 这也促进了对分布式文件系统的研究. 在这个阶段，已经出现了多种架构，它们充分利用了网络技术. 例如，全局文件系统（GFS），通用并行文件系统（GPFS），HP的DiFFS和SGI的CXFS都是基于SAN的分布式文件系统. 随着SAN和NAS结构的成熟，研究人员开始考虑如何组合这两种结构.

Grid的研究成果也促进了分布式文件系统体系结构的发展. IBM的StorageTank，Cluster的Lustre，Panasas的PanFS，蓝鲸文件系统（BWFS）等都是该体系结构的代表. 对体系结构的研究逐渐成熟，不同文件系统的体系结构趋于一致. 系统的设计策略基本相同，例如采用专用服务器的方法；每个系统在设计细节上都采用了许多独特的先进技术. 它们还实悲鸿译. 北京: 机械工业出版社，2004. [2] S. Shepler，B. Callaghan. RFC 3530: 网络文件系统（NFS）版本4协议[M]. 互联网协会，2003年. [3]网络文件系统（NFS）版本4协议. RFC 3530，2003年4月. [4] Erez Zadok. Linux网络文件系统管理指南[M]邱忠盼等译. 北京: 电子工业出版社，2001.8-18. [5]罗伯特·金. Windows Server2003 Active Directory从入门到精通[M]. 北京: 电子工业出版社，2003. [6]马克·法利. SAN存储区域网络[M]. 孙功兴等. 北京: 机械工业出版社，2002. [7]唐志敏. 网格技术专题介绍[J]. 计算机研究与发展，2002，39（8）: 1-2. [8] Andrew S. Tanenbaum，Maarten van Steen. 分布式系统的原理与范式[M]. 杨建峰，常晓波，李敏等译. 北京: 清华大学出版社，2004.80-

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-197584-1.html