与ext4，xfs和zfs文件系统相比，Luster文件系统有哪些优势？

[各种分布式文件系统的比较] 1. MooseFS支持FUSE，FUSE是相对轻量级的，对主服务器有单点依赖，是用perl编写的，并且性能相对较差. 中国有很易于使用. 对小型文件使用，稳定且非常有效. 支持文件元信息mfsmount非常易于使用，编译依赖项很少，文档完整，并且默认配置非常好. mfshdd.cfg加*条目将被传送到它...

1，MooseFS

支持FUSE，它是相对轻量级的，对主服务器有单点依赖，并且是用perl编写的. 性能相对较差. 中国的人越来越多，易于使用，稳定并且对小文件非常有效.

2，MogileFS

键值类型图元文件系统不支持FUSE. 应用程序需要API来访问它. 它主要用于Web领域以处理大量的小图片. 效率远远高于mooseFS. 据说，Web 2.0应用程序存储图片非常好. 很好.

不适用于一般文件系统，适合存储静态只读小文件，例如图片

在Internet上，这是最高的性能，但这是由perl编写的代码，该代码提供了可供使用的API. 构造相对来说比较复杂，因为您需要安装许多依赖的第三方perl软件包，还需要安装MySQL来支持.

安装完成后，服务器启动，客户端由Java，PHP，PERL，RUBY等开发. 我需要的是支持FUSE，但是此分布式文件系统需要安装对FUSE的支持PERL和C通讯模块，该模块过去无法编译，最终无法成功测试，只能有时间继续学习.

3，GlusterFS

支持大于mooseFS的FUSE，我觉得广告比产品本身要好.

4，GFS2

（基于Red Hat RHEL5U2 GFS2 + ISCSI + XEN + Cluster的高可用性解决方案）

（iscsi + clvm + gfs2 + xen + Cluster）

不是分布式文件系统，而是共享磁盘群集文件系统，它需要计算机上的某种机制

磁盘共享和锁定机制，因此磁盘共享需要drbd / iscsi / clvm / ddraid / gnbd，而锁管理则需要dlm）

5，OCFS2

据说Oracle版本的GFS比GFS2具有更好的性能（Debian: aptitude install ocfs2-tools，图形配置工具包ocfs2console）

仅用于Oracle设计，不支持ACL和flock

6，OpenAFS / Coda

这是非常独特的事情.

7，ceph

支持FUSE，客户端已进入Linux-2.6.34内核，也就是说，像ext3 / rasierFS一样，选择ceph作为文件系统. 完全分布式，没有单点依赖，用C编写，性能更好. 基于不成熟的btrfs，它也非常不成熟

在Internet上lustre并行文件系统，我搜索了一些材料，并说ceph的性能最高. 用C ++编写的代码支持Fuse，没有单点故障. 因此，它已下载并安装. 由于ceph使用btrfs文件系统，因此btrfs文件系统需要Linux 2.6.34或更高版本. 仅支持内核. 显然，我使用的RHEL5内核尚不支持btrfs文件系统，因此我下载了最新的内核进行升级. 2天后，升级失败. 每次编译需要1个多小时，最终找到最新版本. ubuntu系统的版本支持btrfs文件系统，因此在安装ubuntu虚拟机后，btrfs文件系统已完成，但是启动ceph的相关过程是错误，无法成功启动. 因此无法对其进行测试.

CEPH中使用了一种相对先进的算法，即Crush算法. 根据翻译，为基于对象的分布式存储系统设计了可伸缩的伪随机数据分发功能，可以有效地管理数据对象和存储设备. 无需通过中央目录. 由于大型系统是动态的，因此CRUSH旨在在最大程度地减少不必要的数据迁移时轻松添加或删除存储设备. 该算法提供了各种不同类型的数据复制和可靠性机制，以及根据用户定义的策略分配数据. 这种策略强制将数据复制与故障域分开.

此外，CEPH使用的文件系统是btrfs. 该文件系统具有许多高级功能，是下一代Linux使用的文件系统.

BTRFS最终可能会给ZFS等带来更多威胁. 它具有联机碎片整理功能（只有SSD具有此功能），写时复制技术，数据压缩，镜像，数据条带化和快照等.

此外，BTRFS在数据存储方面比ext更完整. 它包括一些逻辑卷管理和RAID硬件功能，可以检查和验证内部元数据和用户数据，并具有内置快照功能. ext4也可以实现上述某些功能，但是它需要与文件系统和逻辑卷管理器进行通信.

8，卢斯特（Lustre）

Oracle的企业级产品非常庞大，并且高度依赖于内核和ext3

复杂高效，适合大型集群.

9，PVFS2

使用自定义应用程序是很好的. 据说Dawning的并行文件系统基于PVFS.

10. fastDFS: FUSE也不支持基于mogileFS的改进的键值文件系统，它的性能比mogileFS更好.

我安装了它. 安装非常简单，不支持保险丝. 上传文件后，将生成一个http下载地址，并通过http下载. 这种方法显然不适合我想要的生产环境.

以下为网友撰写的FastFDS与MogileFS之间的比较文章. 感觉更加客观真实，因此我将在此处重新发布.

FastDFS在设计时会借鉴MogileFS的一些想法. FastDFS是一个完整的分布式文件存储系统，可通过客户端API读写文件. 可以说，MogileFS的所有功能都可以在MogileFS网站的FastDFS中找到.

此外，与MogileFS相比，FastDFS具有以下特征和优点:

a. FastDFS非常完整，可以直接使用而无需二次开发；

b. 与MogileFS相比，FastDFS减少了跟踪，并且仅具有两个角色: 跟踪器和存储. FastDFS的体系结构不仅简化了系统，而且消除了性能瓶颈；

c. 在系统中添加任何角色服务器都很容易: 添加跟踪器服务器时，只需修改存储和客户端配置文件（添加一行跟踪器配置）；添加存储服务器时，通常不需要修改任何配置文件，系统会自动将卷中的现有文件复制到服务器；

d. FastDFS比MogileFS更有效率. 在以下方面的表现:

1）参见上面的第2点. 与MogileFS相比，FastDFS没有文件索引，FastDFS的整体性能更高；

2）从使用的开发语言的角度来看，FastDFS比MogileFS更加底层且效率更高. FastDFS用C语言编写，代码量少于20,000行，不依赖其他开源软件或软件包，安装和部署特别简单； MogileFS是用perl编写的；

3）FastDFS直接使用套接字通信方法，该方法比MogileFS的HTTP方法更有效. FastDFS使用sendfile传输文件，采用零内存复制，系统开销较小，文件传输效率较高.

e. FastDFS具有详细的设计和使用文档，但是相对缺乏MogileFS文档.

f. FastDFS的日志记录非常详细，并且系统操作期间发生的任何错误信息都将记录在日志文件中，以便管理员在出现问题时查找错误.

g FastDFS还访问文件的其他属性（即，元数据，例如文件大小，图像宽度，高度等），并且应用程序不需要使用来存储此信息.

h. FastDFS仅支持V1.14中相同文件内容的一个副本，可以节省存储空间并提高文件访问性能.

11，Coda

12，Hadoop HDFS

本地写入缓存，当其具有一定大小（64 MB）时将传递给服务器

不适用于通用文件系统

13，FastDFS

14lustre并行文件系统，NFS

老式的网络文件系统，我不知道具体情况. 无论如何，NFS近年来没有发展，并且绝对不能使用.

15，dCache

取决于PostgreSQL

16，xtreemfs

17，CloudStore（KosmosFS）

18，NFSv4引荐

19，NFSv4.1 pNFS

20，spNFS

21，GFarm

2019-08-22

本文来自电脑杂谈，转载请注明本文网址：
https://www.pc-fly.com/a/jisuanjixue/article-277113-1.html