分布式存储学习材料

云计算大纲的原理和实践？ 5.1分布式存储的基础？ 5.2文件存储领域知识？ 5.3从独立存储系统到分布式存储系统？ 5.4实践: 分布式存储系统CephMathematicsMachineLearningData工程5. 1分布式存储的基础5.1.1基本概念5.1.2分布式存储的分类5.1.3分布式存储的发展历史5.1.1基本概念？分布式存储系统的定义: 分布式存储系统是常见的计算机或服务器通过网络连接，同时提供整体存储服务. ？分布式存储系统包括以下功能: –高性能–可扩展–低成本–易于使用？分布式存储系统的技术挑战包括: 数据和状态信息的持久性，自动数据迁移，自动系统容错，并发读写数据的一致性等. 5.1.2分布式存储的分类？分布式存储面临的应用场景和数据需求相对复杂. 根据数据类型，它可以分为三种类型: 非结构化数据，结构化数据和半结构化数据. ？由于数据类型的多样性，不同的分布式存储系统适用于处理不同类型的数据，因此，分布式存储系统可以分为四类: 1.分布式文件系统2.分布式键值（Key-Value）系统3 . 分布式表系统4.分布式1.分布式文件系统？分布式文件系统存储三种类型的数据: Blob对象，定长块和大文件.

图5.1数据块与Blob对象，定长块和大文件之间的关系2分布式键值系统？分布式键值系统用于存储具有简单关系的半结构化数据. 提供基于主键的CRUD（创建/读取/更新/删除）功能，即根据主键创建，读取，更新或删除键值记录. 典型的系统是Amazon Dynamo. ？分布式键值系统是分布式表系统的简化，通常用作缓存，例如Memcache. 从数据结构的角度来看，分布式键值系统支持将数据分配到群集中的多个存储节点. ？一致性哈希是分布式键值系统中常用的数据分发技术，由于在许多系统中都采用一致性哈希而变得非常著名. 3分布式表系统？分布式表系统主要用于存储半结构化数据. 与分布式键值系统相比，分布式表系统不仅支持简单的CRUD操作，而且还支持扫描一系列主键. ？分布式表系统以表为单位组织数据. 每个表包括许多行，并且一行由主键标识. 支持根据主键的CRUD功能和范围搜索功能. ？典型的分布式表系统包括Google Bigtable，Microsoft Azure Table Storage，Amazon DynamoDB等.

4分布式？分布式是对传统的独立关系的扩展，用于存储结构化数据. ？分布式使用二维表来组织数据，提供经典的SQL关系查询语言，支持诸如嵌套子查询，多表关联之类的复杂操作，并提供事务和并发控制. ？关系是迄今为止最成熟的存储技术，具有丰富的功能和完整的商业关系软件支持. 随着大数据时代的到来，为了解决关系所面临的可伸缩性，高并发性和性能问题，各种非关系不断涌现. 这种称为NoSQL的系统可以理解为“不仅仅是SQL”的含义. 5.1.3分布式存储的发展历史图5.2分布式文件系统的发展历史5.1.3分布式存储的发展历史1. 1980年代的代表: AFS，NFS，Coda（1）AFS: CMU和IBM于1983年共同开发了Andrew File系统（Andrew File System，AFS）（2）NFS: 1985年，Sun开发了基于UDP（3）的网络共享文件系统（Network File System，NFS）. Coda: 1987年，CMU基于A Coda文件系统. 在AFS的基础上开发的5.1.3分布式存储的发展历史2. 1990年代的代表: XFS，Tiger Shark，SFS XFS: 加州大学伯克利分校开发了XFS文件系统，该系统克服了过去的问题，分布式文件系统仅适用于到局域网，但不到WAN和大数据存储. 提出了广域网缓存较少网络流量的设计思想. 采用分层命名结构以减少缓存一致性状态和无效的回写缓存一致性. 该协议减少了网络负载，当时取得了一些成功.

5.1.3分布式存储的发展历史3. 20世纪末的代表: （1）SAN（存储区域网络）（2）NAS（网络附加存储）（3）GPFS（通用并行文件系统） （4）GFS（Google文件系统）（5）HDFS（Hadoop分布式文件系统）（1）SAN（存储区域网络）？通过直接连接磁盘存储系统和服务器来提供易于扩展，高度可靠的存储环境，高度可靠光纤通道交换机和光纤通道网络协议可确保各种设备之间链接的可靠性和效率. 设备之间的连接接口主要使用FC或SCSI. 图5.3 SAN网络结构（2）NAS（网络附加存储）？通过基于TCP / IP的各种上层应用程序在每个工作站和服务器之间进行文件访问，直接在工作站客户端和NAS文件共享设备之间建立连接，NAS隐藏了文件系统的基础实现，重点是较高的文件服务，具有良好的可扩展性图5.4 NAS存储网络结构（3）GPFS（通用并行文件系统）？ GPFS是IBM开发的一种共享文件系统，起源于IBM SP系统上使用的虚拟共享磁盘技术.

？ GPFS是并行磁盘文件系统，可确保资源组中的所有节点都可以并行访问整个文件系统. •GPFS允许客户共享文件，并且这些文件可以分布在不同节点上的不同硬盘上. 它还提供了许多标准的UNIX文件系统接口，允许应用程序在其上运行，而无需修改或重新编辑. （4）GFS（Google文件系统）图5.5 GFS架构图（5）HDFS（Hadoop分布式文件系统）图5.6 HDFS总体5.1.3分布式存储的发展历史4. 21世纪的代表: Cassandra，HBase，MongoDB云计算分布式存储，DynamoDB（1）Cassandra: 是一个开源的分布式NoSQL系统，最初由Facebook开发，用于存储简单格式的数据（例如收件箱），将GoogleBigTable数据模型和Amazon Dynamo的完全分布式架构集于一身. （2）HBase: 列存储，擅长读取列中的数据. 用于列存储的具有高可伸缩性. 即使数据增加很多，也不会降低相应的处理速度，特别是写入速度. 5.1.3分布式存储的发展历史4. 21世纪的代表: Cassandra，HBase，MongoDB，DynamoDB（3）MongoDB: 文档类似于键值，并且是键值. 升级版本允许嵌套键值. 值是结构化数据. 该可以理解Value的内容并提供复杂的查询，类似于RDBMS的查询条件.

（4）DynamoDB: Amazon的分布式存储引擎是经典的分布式Key-Value存储系统，具有分散，高可用性和高可扩展性的特点. 5.2文件存储5.2.1独立文件系统5.2.2网络文件系统5.2.3并行文件系统5.2.4分布式文件系统5.2.5高通量文件系统5.2.1独立文件系统？现代文件系统的起源应追溯到分时操作系统时期. 1965年，在Multics操作系统中首次提出了使用树结构来组织文件，目录和访问控制的想法. 这些想法是从后来的UNIX文件系统（1973）中借用的. 从结构的角度来看，它包括四个模块: 引导块，超级块，inode和数据块. ？为了解决UNIX文件系统I / O性能低的问题，相继出现了1984年的快速文件系统（FFS）和1992年的LogStructured File（LFS）. ？自1990年代以来，已经有许多独立文件系统. 其中包括SGI在1994年发布的XFS和Sun在2004年发布的ZFS. 5.2.2网络文件系统？ NFS（网络文件系统）是Sun于1984年开发的，被认为是第一个被广泛使用的现代网络文件系统.

NFS的设计目标是提供一个跨平台的文件共享系统. 由于NFS的实现和设计思想相对简单，因此该协议很快被纳入RFC标准并开始被广泛使用. 但是，NFS单个服务器的结构也决定了其有限的可伸缩性. AFS（Andrew文件系统）是由卡内基梅隆大学于1982年开发的分布式文件系统. 设计目标是支持5000到10,000个节点的集群，而可伸缩性是首要考虑因素. 与NFS和其他系统不同，AFS中有多个服务器，并且整个命名空间静态地划分为各种服务器. 因此，AFS具有更好的可伸缩性. 5.2.3并行文件系统？早期的并行文件系统包括BFS（桥文件系统）和CFS（并发文件系统）. 它们在具有MPP（并行处理，MPP）结构的超级计算机上运行. . 在1990年代中期，开源Linux操作系统逐渐成熟并被广泛使用. 为了在越来越多的Linux群集上运行，出现了以PVFS和Lustr为代表的Linux群集上的并行文件系统. 他们吸收了MPP并行文件系统的许多想法，包括使用专用的元数据服务器来维护和管理文件系统的名称空间，以及在所有存储服务器上条带化和分布式存储文件数据.

5.2.4分布式文件系统？随着1990年代后期Internet的发展，出现了诸如搜索引擎之类的大量文本数据检索工具. 搜索引擎需要高吞吐量，低成本和高度可靠的系统，而不是具有高峰值处理性能的系统. 结果，产生了以Google的Google文件系统（GFS）和MapReduce为代表的新数据处理体系结构. ？ GFS的基础平台是（数千到数万），低成本，低可靠性的PC群集，并且存储设备是群集中每个节点上的多个IDE磁盘吗？ Google体系结构被Internet公司广泛使用，流行的Hadoop是GFS和MapReduce的开源实现，被许多企业采用. 5.2.5高吞吐量文件系统？高吞吐量文件系统是为大型数据中心设计的文件系统. 它可以有效地在数据中心组织大量低成本的存储资源，以满足更高层次上各种应用程序的数据存储需求. 和数据访问需求. 随着云计算技术的发展，数据中心的数据存储需求逐渐成为数据存储技术和文件系统发展的主要动力. 高吞吐量文件系统将成为重要的文件系统. ？大型数据中心对数据存储和数据访问的要求与以前的应用程序完全不同，包括: 巨大的数据量，高访问并发性，大量文件，数据访问语义和访问接口与传统文件不同系统，数据共享和数据安全性变得越来越重要.

表5.1在文件系统的开发上下文中生成的技术背景. 典型的负载特性通常代表着重大的创新. 绩效评估标准. 单机文件系统. 分时操作系统. 多用户共享磁盘. 多用户并发访问. 多进程并发访问. Unix FS FFS LFS JFS WAFL XFS ZFS树型目录结构索引节点（索引节点）流访问接口柱面组元数据修改日志B +树组织写时复制存储池I / O请求响应时间聚合I / O带宽网络文件系统LAN TCPP / IP协议RAID FC网络多客户端共享访问多用户共享访问NFS AFS NAS SAN文件系统XDR RPC VFS无状态服务器多服务器结构聚合I / O带宽并行文件系统并发文件MPP超级计算机一作业多任务到相同的系统性能互连网络并行文件就地并行访问Vesta编程一个I / O请求并行处理PVFS的条带化存储Lustre文件并行I / O接口并行I / O带宽元数据管理和数据存储独立的搜索引擎Internet服务分布式文件系统Google架构大型PC集群数千万并发访问数万并发大图嵌入式访问GoogleFS HDFS Haystack TFS非POSIX接口和语义集I / O请求响应时间管理，分散存储，完整的内部并发访问吞吐量，速率存储元数据处理多个副本，聚合I / O带宽5.3从独立存储系统到分布式存储系统5.3.1独立存储系统5.3.2分布式存储系统5.3.1独立存储系统1.硬件基础？简而言之，单机存储是在持久性媒体（例如机械硬盘和SSD）上实现哈希表和B树之类的数据结构.

独立存储系统的理论源于关系，它是独立存储引擎的封装，并提供文件，键值，表或关系模型. 根据摩尔定律，具有相同性能的计算机等IT产品的价格每18个月下降一半. 虽然计算机硬件体系结构保持相对稳定，但重要的原因是希望最大化基础硬件的价值. 表5.2显示了计算机体系结构中常见硬件的一般性能参数. 表5.2通用硬件性能参数类别访问L1缓存分支预测失败访问L2缓存互斥锁锁定/解锁内存访问千兆网络依次发送1MB数据从内存中读取1MB数据进出机房网络在远程机房之间来回网络SATA磁盘搜寻从SATA磁盘顺序读取1MB数据SSD访问延迟消耗时间0.5ns 5ns 7ns 100ns 100ns 10ms 0.25ms 0.5ms 30〜100ms 10ms 20ms 0.1〜0.2ms 5.3.1独立存储系统2.存储引擎？存储引擎直接确定存储系统可以提供的性能和功能. 它的基本功能包括: 添加，删除，修改和检查. 读取操作分为随机读取和顺序扫描. ？哈希存储引擎是哈希表的持久实现，支持添加，删除，修改和随机读取操作，但不支持顺序扫描. 相应的存储系统是键值存储系统.

本文来自电脑杂谈，转载请注明本文网址：
https://www.pc-fly.com/a/jisuanjixue/article-237485-1.html