常见分布式文件系统大盘点，想知道大数据先从存储开始

大数据的更底层的内容就是存储，只有把数据存在可高效访问的分布式平台下才会提高工作强度。小编带你们来盘点一下这些常用的分布式文件系统：

Lustre

Lustre是一个非常安全，规模巨大的分布式文件系统，最早由CFS（Cluster File System Inc.）公司研发，最后由CFS、惠普和因特尔三家公司一起与2003年推出第一版发布版，发展到目前尚未十分成熟。其存储量通常以PB起步，节点支持数也可打至万级。但是其对设施有特殊规定。

HDFS

HDFS是Hadoop内置的分布式文件系统，之前也有过介绍。HDFS最大的优势就是价格便宜分布式文件存储技术，因此也使用极为广泛。并且其高可靠性，高容错性也使使用者非常信任。虽然HDFS的存储级别也在PB以上，但是针对小文件过多的状况HDFS不能很好的支持。

QFS

QFS和HDFS类似，都是为了解决高效顺序读写大量数据的弊端。但是QFS在功耗上优于HDFS，读写效率提高综合越60%。现在QFS还非常小众，没有经过长期的使用检测，因此还不能用于的制造环境。

GlusterFS

GlusterFS也是一个PB级别的集群文件系统，其思想是将集群内所有服务器的储存空间汇到一个大的网络平台上。这样做最大的特征就是无中心，不会有单点故障。

Alluxio

Alluxio是第一个基于内存的分布式文件系统，因此其相应速度也会超过普通的分布式文件系统很多，例如HDFS就比它慢数百倍。并且Alluxio和Spark也有良好的交互。最重要的是Alluxio中国人开发的分布式文件存储技术，文档都是中文的，对于被英语文档困扰很久的小伙伴绝对是福音。

常见分布式文件系统大盘点，想知道大数据先从存储开始

Ceph

Ceph也是一个没有单点故障的分布式文件系统，Ceph的每个节点上都有一小部分资源用于计算结点的数据信息，从而更加优秀的谋求负载均衡。

PVFS

PVFS是一个并行虚拟文件系统，他可很好的支持linux上的原声命令跟工具，例如rm、dd、cat等。但是PSFS是单管理节点的，因此存在单点故障，并且在推进后能够灵活的设置。

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-140004-1.html