大型分布式存储系统: 原理分析与架构对抗ch01

第一章概述了互联网公司的成功，例如谷歌，亚马逊和阿里巴巴，它们催生了云计算和大数据这两个流行的领域. 无论是云计算，大数据还是Internet公司的各种应用程序，其后端基础架构的主要目标都是构建低成本，高性能，可扩展且易于使用的分布式存储系统. 尽管分布式系统已经研究了很多年，但是直到最近几年，Internet大数据应用的兴起才使它在工程实践中得到广泛使用. 与传统的分布式系统相比，Internet公司的分布式系统具有两个特点: 一是规模大，二是成本低. 不同的要求创建了不同的设计解决方案. 可以说，谷歌等互联网公司已经重新定义了的分布式系统. 本章介绍了大型分布式系统的定义和分类. 1.1分布式存储的概念大型分布式存储系统的定义如下: “分布式存储系统是通过Internet互连的大量普通PC服务器，并提供整体的存储服务. ”分布式存储系统具有以下特征: 扩展. 分布式存储系统可以扩展到数百甚至数千个群集. 此外，随着群集大小的增长，系统的整体性能呈线性增长. ？低成本. 分布式存储系统的自动容错和自动负载平衡机制使它可以在普通PC上构建. 此外，线性扩展功能还使添加和减少机器非常方便，并且可以实现自动操作和维护.

？高性能. 无论是用于整个群集还是单个服务器，分布式存储系统都必须具有高性能. ？使用方便. 分布式存储系统需要能够提供易于使用的外部接口. 此外，它还需要具有完整的监视，操作和维护工具，并且可以轻松地与其他系统集成，例如从Hadoop云计算系统导入数据. 分布式存储系统的挑战主要是数据和状态信息的持久性. 在自动迁移，自动容错和并发读写过程中，需要确保数据的一致性. 分布式存储涉及的技术主要来自两个领域: 分布式系统和，如下所示: 2第1章概述？数据分发: 如何将数据分发到多个服务器以确保统一的数据分发？将数据分发到多个服务器后，如何实现跨服务器的读写操作？ ？一致性: 即使在异常情况下，如何将多个数据副本复制到多个服务器，以确保不同副本之间的数据一致性？ ？容错能力: 如何检测服务器故障？如何将故障服务器上的数据和服务自动迁移到群集中的其他服务器？ ？负载均衡: 如何在新添加的服务器和集群的正常运行期间实现自动负载均衡？如何确保现有服务在数据迁移期间不受影响？ ？事务和并发控制: 如何实现分布式事务？如何实现多版本并发控制？ ？易用性: 如何设计外部接口以使系统易于使用？如何设计一个监控系统并使系统的内部状态以便捷的形式向运维人员开放？ ？压缩/解压缩: 如何根据数据特征设计合理的压缩/解压缩算法？如何权衡压缩算法节省的存储空间和CPU消耗的计算资源？分布式存储系统面临巨大挑战，研发周期长，知识面广.

通常来说，如果工程师可以深入了解分布式存储系统，那么在理解其他Internet背景架构方面就不会有更多的困难. 1.2分布式存储的分类分布式存储面临的数据要求相对复杂，可以大致分为三类: 非结构化数据: 包括所有格式的办公文档，文本，图片，图像，音频和视频信息. 结构化数据: 通常存储在关系中，可以用二维关系表结构表示. 结构化数据的架构（架构分布式存储系统:原理解析与架构实战pdf，包括属性，数据类型和数据之间的连接）和内容是分开的，并且数据架构需要预先定义. ？半结构化数据: 在非结构化数据和结构化数据之间，HTML文档是半结构化数据. 它通常是自描述的，与结构化数据的最大区别在于半结构化数据的结构和内容是混合的，没有明显的区别，也不需要事先定义数据的结构. 不同的分布式存储系统适用于处理不同类型的数据. 本书将分布式存储系统分为四类: 分布式文件系统，分布式键值系统，分布式表系统和分布式. 1.分布式文件系统Internet应用程序需要存储大量非结构化数据对象，例如图片，照片和视频. 这种类型的数据以对象的形式组织，并且对象之间没有关联. 这种数据通常称为Blob（二进制大对象，二进制）大对象）数据.

第1章概述3分布式文件系统用于存储Blob对象. 典型的系统是Facebook Haystack和Taobao File System（TFS）. 此外，分布式文件系统还经常用作分布式表单系统和分布式的基础存储. 例如，可以将Google的GFS（用于存储大文件的Google文件系统）用作分布式表格系统Google Bigtable的基础存储，而可以使用Amazon的EBS（Elastic Block Store（弹性块存储）系统）作为分布式（Amazon RDS）的基础存储，通常，分布式文件系统存储三种类型的数据: Blob对象，定长块和大文件在系统实施级别，分布式文件系统根据每个数据块的大小大致相同，每个数据块可以包含多个Blob对象或固定长度的块，还可以拆分一个大文件，分为多个数据块，如图1-1所示. 分布式文件系统将这些数据块分发到存储集群，处理数据复制，一致性，负载平衡，容错和其他分布式系统问题，并将用户对Blob对象，定长块和la的操作进行映射rge文件到基础数据的Block操作. 块Bld对象Blod对象Blod对象定长块定长块定长块定长块定长块定长块定长块定长块大文件（第1部分）大文件（第2部分）分布式Blob存储分布式块设备分布大型文件存储1-1数据块与Blob对象，定长块和大文件之间的关系分布式键值系统分布式键值系统用于存储具有简单关系的半结构化数据. 它仅提供基于主键的CRUD（创建/读取/更新/删除）功能，即根据主键A键值记录创建，读取，更新或删除.

典型的系统是Amazon Dynamo和Taobao Tair. 从数据结构的角度来看，分布式键值系统类似于传统的哈希表. 区别在于分布式键值系统支持将数据分布到集群中的多个存储节点. 分布式键值系统是分布式表系统的简化实现，该系统通常用作缓存，例如淘宝Tair和Memcache. 一致性哈希是分布式键值系统中常用的数据分发技术，并且由于由Amazon DynamoDB系统使用而变得非常著名. 3.分布式表系统分布式表系统用于存储关系更复杂的半结构化数据. 与分布式键值系统相比分布式存储系统:原理解析与架构实战pdf，分布式表系统不仅支持简单的CRUD操作，而且还支持扫描一系列主键. 分布式4第1章概述表系统将数据组织在表中. 每个表包括许多行. 行由主键标识. 支持基于主键的CRUD功能和范围搜索功能. 分布式表系统利用许多关系技术，例如，以支持一定程度的事务，例如单行事务，实体组下的多个数据事务（实体组，用户下的所有数据通常构成一个实体组） ）. 典型系统包括Google Bigtable和Megastore，Microsoft Azure Table Storage，Amazon DynamoDB等.

与分布式相比，分布式表系统主要支持对单个表的操作，不支持某些特别复杂的操作，例如多表关联，多表联接和嵌套子查询；另外，在分布式表系统中，同一表的多个数据行不需要包含相同类型的列，这适用于半结构化数据. 分布式表单系统是一个很好的权衡. 这样的系统可以是非常的并且支持更多的功能，但是实现通常更复杂并且具有一定的使用门槛. 4.分布式分布式通常是从独立的关系扩展而来的，用于存储结构化数据. 分布式使用二维表来组织数据，提供SQL关系查询语言，支持诸如多表关联，嵌套子查询之类的复杂操作，并提供事务和并发控制. 典型系统包括MySQL Sharding群集，Amazon RDS和Microsoft SQL Azure. 分布式支持最丰富的功能并符合用户习惯，但是可伸缩性通常受到限制. 当然，这不是绝对的. Google Spanner系统是支持大多数数据中心的分布式. 它不仅支持丰富的关系功能，而且还可以扩展到多个数据中心的数千台计算机. 此外，阿里巴巴的OceanBase系统也是支持自动扩展的分布式关系.

关系是迄今为止最成熟的存储技术，其功能极其丰富，导致商业关系软件（例如Oracle，Microsoft SQL Server，IBM DB2，MySQL）以及上层工具和应用软件生态化链. 但是，关系在可伸缩性方面面临巨大挑战. 传统关系和二维关系模型的事务难以有效地扩展到多个存储节点. 此外，关系具有很大的优化空间，可用于需要高并发性的性能. 为了解决关系所面临的可伸缩性，高并发性和性能问题，各种非关系正在涌现. 这样的系统已成为NoSQL系统，可以理解为“不仅SQL”系统. NoSQL系统是如此令人眼花that乱，以至于每个系统都有自己的独特性，适合解决特定的问题. 这些系统变化很快，本书不会尝试探索NoSQL系统的实现，而是从分布式存储技术的角度探讨大型存储系统背后的原理.

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-173779-1.html