

大数据***层的内容是存储. 只有将数据存储在可以有效访问的分布式系统中,才能提高工作效率. 编辑器带大家看一下这些常见的分布式文件系统:


Lustre是一个非常安全的大型分布式文件系统,最早由CFS(群集文件系统公司)公司开发,***由CFS,HP和Intel与2003一起推出*. 现在很成熟. 它的存储容量通常从PB开始,节点支持数也可以达到10,000. 但是,它对设备有特殊要求.
HDFS
HDFS是Hadoop中内置的分布式文件系统,之前也已经介绍过. HDFS ***的优点是价格低廉,因此也得到了广泛的应用. 其高可靠性和高容错性使用户非常可靠. 尽管HDFS的存储级别也高于PB,但是当小文件太多时,HDFS不能得到很好的支持.
QFS

QFS和HDFS相似,都是为了解决按顺序有效读取和写入大量数据的问题. 但是QFS在性能上优于HDFS,并且总体读写效率提高了60%以上. QFS仍是相对利基市场,尚未经过广泛的使用测试,因此不能在生产环境中使用.

GlusterFS
GlusterFS也是PB级群集文件系统. 这个想法是将群集中所有服务器的存储空间整合到一个大型网络系统中. 这样做的特点是没有中心常见分布式系统,也就不会有单点故障.

Alluxio

Alluxio是基于分布式内存的文件系统,因此其相应速度将比普通的分布式文件系统高得多,例如,HDFS的速度要慢数百倍. 并且Alluxio和Spark也有很好的交互. 最重要的是常见分布式系统,Alluxio Chinese开发了这些文档,并且这些文档都是中文的,对于长期以来一直受英语文档困扰的朋友来说,这无疑是一个福音.
常见分布式文件系统的常见清单,如果您想了解大数据,请从存储开始

Ceph
Ceph还是没有单点故障的分布式文件系统. Ceph的每个节点都有少量资源可用于计算节点的数据信息,从而实现出色的负载平衡.
PVFS
PVFS是并行虚拟文件系统. 它可以在Linux上支持声音命令和工具,例如rm,dd,cat等. 但是PSFS是单个管理节点,因此存在单点故障,并且无法在启动后灵活修改.
【编辑选择】
在评估混合存储系统之前要考虑的因素对现代存储系统背后的经典算法的解释. 分布式存储Ceph中PG各种状态的详细说明. 单独或超融合. 分布式存储构建的两种部署模式. 6关于dd命令备份Linux系统示例
本文来自电脑杂谈,转载请注明本文网址:
http://www.pc-fly.com/a/jisuanjixue/article-243517-1.html
那个翻白眼好萌