讨论选择分布式存储技术路线: HDFS，Ceph，GFS，gpfs，Switf等.

答案: 在上述分布式存储技术中，每种存储技术都有自己的特点和应用场景. 其中，HDFS，Ceph和Switf的应用更多，这也与它们的快速技术发展和更多的应用场景有关. 以下分别介绍: 1. HDFS. 主要用于大数据存储场景，它是Hadoop大数据架构中的存储组件. 设计HDFS时，已经...

答案: 在上述分布式存储技术中，每种存储技术都有自己的特点和应用场景. 其中，HDFS，Ceph和Switf的应用更多，这也与它们的快速技术发展和更多的应用场景有关. 以下分别介绍:

一个，HDFS.

主要用于大数据存储场景，它是Hadoop大数据架构中的存储组件. 最初设计HDFS时，其应用场景已明确定义为服务大数据. 主要应用场景为:

1. 大文件的存储性能相对较高，例如数百兆字节和几个G大文件. 因为HDFS使用元数据来管理文件，并且与元数据相关的目录和块存储在NameNode的内存中. 增加文件数量会占用大量NameNode内存. 如果存在大量小文件，则会占用大量内存空间，从而导致整个分布式存储的性能下降，因此使用HDFS存储大文件更为合适.

2. 适用于低写，多读业务. 对于大数据分析业务，处理模式是一次写入，多次读取，然后执行数据分析. HDFS具有较高的数据传输吞吐量，但数据读取延迟相对较差，不适合频繁数据传输. 写.

3. HDFS使用多副本数据保护机制，并且可以通过使用普通的X86服务器来保证数据的可靠性. 不建议在虚拟环境中使用它.

Ceph.

是一个开源存储项目. 它是当前使用最广泛的开源分布式存储系统. 它得到了许多制造商的支持. 许多超融合系统的分布式存储基于Ceph深度定制. 并且Ceph已经成为LINUX系统和OpenStack的“标准”，用于支持它们各自的存储系统. Ceph可以提供对象存储，块设备存储和文件系统存储服务. 同时支持三种不同类型的存储服务的功能在分布式存储系统中很少见.

Ceph不使用HDFS元数据寻址方案，而是使用CRUSH算法，具有平衡的数据分布和高并行度. 并且在支持块存储特性方面，数据可以具有很强的一致性，并且可以获得传统集中式存储的经验. 对于对象存储服务，Ceph支持Swift和S3的API接口. 在块存储方面，支持精简配置，快照和克隆. 在文件系统存储服务方面，它支持Posix接口和快照. 但是，Ceph支持的文件的性能可与其他分布式存储系统媲美. 部署稍微复杂一些，而性能则稍弱一些. Ceph通常用于块和对象存储.

Ceph是一种分散式分布式解决方案，需要事先进行计划和设计，技术团队的能力相对较高. 尤其是在扩展Ceph时，由于其均衡的数据分布分布式文件存储技术，将降低整个存储系统的性能.

三个，GFS.

GFS是Google分布式文件存储，这是一种特殊的文件系统，旨在存储大量搜索数据. 与HDFS类似，HDFS系统最初是根据GFS的概念设计和实现的. GFS还适用于读写大型文件，不适用于小型文件存储. 它适用于需要处理大量文件读取，高带宽且对数据访问延迟不敏感的搜索服务. 它也不适合多个用户同时写入. GFS是最早引入分布式存储概念的存储系统之一. 后来，大多数分布式文件系统都引用了GFS的设计. HDFS和GFS之间的主要区别在于，已对GFS中的数据写入进行了一些改进，并且一次只允许一个客户端写入或追加数据. GFS支持并发写入. 这将减少由同时写入引起的数据一致性问题. 在编写过程中，该体系结构相对简单并且易于实现.

四个，GPFS.

GPFS是IBM的共享文件系统. 它是一个并行磁盘文件系统，可以确保资源组中的所有节点都可以并行访问整个文件系统. GPFS允许客户共享文件，并且这些文件可以分布在不同节点上的不同硬盘驱动器上. GPFS提供了许多标准的UNIX文件系统接口，允许应用程序在其上运行，而无需修改或重新编辑.

GPFS与其他分布式存储之间的区别在于GPFS由网络共享磁盘（NSD）和物理磁盘组成. 网络共享磁盘（NSD）是从物理磁盘映射的虚拟设备，并且与磁盘一一对应. 因此，使用两个传统的集中式存储设备，还可以通过划分不同的网络共享磁盘（不一定在X86设备上）来部署GPFS. GPFS文件系统允许同一节点中的多个进程使用标准UNIX文件系统接口来并行访问同一文件分布式文件存储技术，以进行读写操作，并且具有高性能. GPFS支持传统的集中式存储仲裁机制和文件锁定，以确保数据安全性和数据准确性，这是其他分布式存储系统无法比拟的. GPFS主要用于IBM小型计算机和UNIX系统中的文件共享和数据灾难恢复方案.

五个，斯威夫特.

Swift也是一个开源存储项目，但是它的主要重点是对象存储. 它类似于Ceph提供的对象存储服务. 主要用于解决非结构化数据存储的问题. 它与Ceph的对象存储服务之间的主要区别是.

1. 当客户端访问对象存储系统服务时，Swift要求客户端必须访问Swift网关才能获取数据. Ceph使用在每个存储节点上运行的OSD（对象存储设备）来获取数据信息. 没有单一的入口点，它比Swift更灵活.

2. 在数据一致性方面，Swift数据最终是一致的，海量数据的处理效率更高，但这主要用于对数据一致性要求较低但对数据处理效率要求较高的对象. 仓储业务. 而且Ceph在整个集群中始终具有很强的一致性.

主要应用场景是在OpenStack中，对象存储服务使用Swift而不是Ceph.

2019-04-22

本文来自电脑杂谈，转载请注明本文网址：
https://www.pc-fly.com/a/jisuanjixue/article-284005-1.html