3种分布式内存文件系统的特性！

当"互联网+"深入渗透至各行各业时，大数据和云计算业务也在中国范围内的快速演进。企业想要遵循时势得到更大体量的发展，可能要应对业务演进云化。这就不得不应对一个难题——存储架构如何选？要跟上时代的演进，应该是更准确地考量——分布式存储架构要如何选？大圣众包（）小编就为大家预测下分布式内存文件的优劣性！

一、主流的3种分布式内存文件系统

存储架构分两种，一种是特色存储阵列构架，另一种就是本文已经重点介绍的分布式内存构架。进入大数据时代，随着数据量的急剧减少，企业针对数据传输的可扩充性不断强调要求，而具备扩展性强、价格便宜缺点的分布式内存系统则逐渐变成诸多企业的选取。可以说，得益于大数据的繁荣发展，分布式存储架构在近几年中受到了前所未有的关注。

当前行业上，比较主流的3种分布式内存文件系统，分别有AFS、GFS、Lustre。它们基本都有一个共通点——全局名字空间、缓存一致性、安全性、可用性和可扩展性。

二、3种分布式内存文件系统的各自特性

1.AFS

由卡内基美隆学院最初设计研发的AFS，目前尚未相当成熟，用于研究和个别大型网络中。AFS是AndrewFileSystem的俗称，它的主要设立包括Cells、AFSclients、基本存储单元Volumes、AFSservers和Volumereplication。

拥有良好可扩展性的AFS并行文件系统，能够为用户端带给性能的增强和可用性的提升。AFS将文件系统的可扩展性放在了设计和实践的首要位置，因此AFS拥有很高的扩展性，能够轻松支持数百个节点，甚至数千个节点的分布式环境。它推动的是模块化的，所以并不规定在每台服务器上运行所有服务器进程。

但值得一提的是，AFS的优点在于管理员界面友好性不足，需要更多的知识来支持。

2.GFS

被称为谷歌文件系统的GFS（GoogleFileSystem），是用以推动非结构化数据的主要科技和文件系统。它的性能、可扩展性、可靠性和可用性都得到了恐怕。它主要运行在长期运行Linux系统的普通机器上，能大大提高它的硬件成本。

文件的大小，一直是文件系统要考量的弊端。对于任何一种文件系统，成千上万的几KB的系统很容易压死内存。所以，对于大型的文件，管理要高效，对于小型的文件，也应该支持，但是并没有进行改进。在GFS中，chunkserver的大小被固定为64MB，这样的块规模比通常的文件系统的块规模要大得多，可以减少元数据metadata的花费，减少Master的交互。但是，太大的块规模也会造成外部碎片，或者同一个chunk中存在多个小文件或许会造成访问热点。

GFS主要组件包含一个master和n个chunkserver，和chunkserver（数据块服务器）同时可以被多个用户client（客人）访问。不同于传统的文件系统，GFS不再将建立错误当做异常，而是将其看作一种常用的状况给予处理。

同样地，GFS也有优点。一系列冗余备份、快速修复等科技，很难确保它还能正常和高效运行。

3.Lustre

名称来源于Linux和Clusters的Lustre，也被称为平行分布式文件系统，它是HP、Intel、ClusterFileSystem公司联合中国电力部研发的Linux集群并行文件系统。Lustre的主要创建包含元数据服务器（MetadataServers并行文件系统，MDSs）、对象存储服务器（ObjectStorageServers，OSSs）和用户端。其中MDSs提供元数据服务，MGS管理服务器提供文件系统配置信息，OSS对象内存服务器expose块为设施提供数据。作为一个遵守GPL许可协议的开源硬件，Lustre常用于小型计算机集群和超级电脑中。

Lustre文件系统对于大文件读写进行了改进，能够提升性能的IO能力。另外，它对源数据独立储存、服务和网络失效的迅速恢复、基于动机的分布式锁管理和平台可迅速配置方面，表现也非常出色。

各企业可以按照自身意愿，选取合适的分布式内存文件系统，以便在大数据海洋中扬帆猛进！

（更多大数据与商业智能领域干货、机会请关注大圣众包平台，或添加大圣花花个人微信号（dashenghuaer)，拉你入bigdata&BI交流群330648564。)

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-130763-1.html