大型分布式存储系统的原理分析与架构对抗

2014年5月31日开始在兔科中阅读，前三章于2014年6月10日22:21:41完成

最后几个是关于某些特定产品的内容. 对于每种产品，都需要准确的使用和经验. 研究将来何时需要它还为时不晚，该技术将在使用中始终取得更大的进步.

过去分布式存储系统:原理解析与架构实战pdf，整个存储（尤其是分布式存储）的知识体系不太清楚，而只是其中一些理论的知识. 通过本书的学习，无论是理论上的还是以后的，分布式存储的原理都会突然开放. 本章中描述的特定产品可以照原样理解. 此外，该书还对Paxos协议进行了深入介绍. 理解该协议将给我“付子说，我的心”的感觉，这种权力下放如今很流行.

当然，如果您想从底层全面了解存储知识，建议阅读Dongguatou的“大华存储2”（在本书之后，存储从来就不是一场大战）.

整本书的思维导图:

Paxos协议过程:

1. 独立存储引擎是在持久磁盘（例如机械磁盘和SSD）上实现诸如哈希表和B树之类的数据结构. 独立存储系统是独立存储引擎的软件包，提供文件，键值，表或关系模型

2.IO南北桥体系结构: 北桥芯片通过前端总线（Front Side Bus，FSB）以及内存模块和PCI-E设备（例如Fusion-IO，高端SSD设备）连接到北桥. 北桥和南桥通过DMI连接. DMI的带宽为1GB / s. 在南桥上安装了网卡（包括千兆和10千兆网卡），硬盘和低端固态磁盘（例如Intel 320系列SSD）

3. 常见的硬件性能参数:

4. SMP（对称多处理）结构

5. 存储引擎是存储系统的引擎，直接决定存储系统可以提供的性能和功能.

6. 哈希存储引擎是哈希表的持久实现，它支持添加，删除，修改和随机读取操作，但不支持顺序扫描. 对应的存储系统是键值存储系统

7. B树存储引擎是B树的持久实现. 它不仅支持单个记录的添加，删除，读取和修改，还支持顺序扫描. 相应的存储系统是一个关系. 当然，键值系统也可以通过B树存储引擎来实现

8. LSM树（对数结构合并树）存储引擎与B树存储引擎一样，支持添加，删除，修改，随机读取和顺序扫描. 它通过批量转储技术避免了随机磁盘写入的问题，并广泛用于Internet的后台存储系统中.

9. LSM树（日志结构合并树）的想法非常简单. 它将数据的修改增量保留在内存中，并在达到指定的大小限制后将这些修改操作批量写入磁盘. 阅读时需要将其合并. 磁盘中的历史数据以及内存中的最新修改操作. LSM树的优点是，它可以有效避免随机写入磁盘的问题，但是读取时可能需要访问更多磁盘文件

10. POSIX（操作系统接口）是用于应用程序访问文件系统的API标准，该标准定义了文件系统存储接口和操作集. POSIX标准适用于独立文件系统. 在分布式文件系统中，出于性能方面的考虑，通常未完全遵守该标准.

11. NFS（网络文件系统）文件系统允许客户端缓存文件数据，并且多个客户端可能会不一致地并发修改同一文件.

12. 关系使用B树存储引擎，并且更新操作性能不如LSM树那样的存储引擎. 此外，如果仅基于主键进行添加，删除，检查和修改操作，则关系的性能将不如专门定制的键值存储系统.

13. 压缩的本质是找到数据的重复性或规律性，以尽可能少的字节表示. 霍夫曼编码是一种基于编码的优化技术，可通过计算字符频率来计算最佳前缀编码. LZ系列算法通常具有窗口的概念，在窗口中查找重复项并维护数据字典. 常用的压缩算法包括Gzip，LZW，LZO

14. 分布式系统中有两个重要协议，包括Paxos选举协议和两阶段提交协议. Paxos协议用于达成多个节点之间的协议，并且通常用于实现主控节点的选举. 两阶段提交协议用于保证跨多个节点的操作的原子性. 这些操作成功或失败.

15. 分发->复制->一致性->容错. 复制是分布式存储系统中容错的唯一方法. 由于存在多个副本，如何确保副本之间的一致性是整个分布式系统的理论核心.

16. 常见的分布式故障:

17. 分布式系统中的单层和双层结构:

18. 大多数主流的分布式存储系统都有一个主控制节点，并且可以支持数千个单元的集群大小.

19. 最小化主控制节点上的压力. 通常，与其他分布式系统相比，分布式文件系统需要存储一些目录信息. 支持成千上万台群集计算机时可能会出现瓶颈. 主控制节点存储根信息，第二层节点存储元信息

20. 将存储节点分为几组. 每个组中的节点提供相同的数据. 节点之一是主节点，其他节点是备用节点. 由于同一组中的节点服务于相同的数据，因此这种系统称为同类系统. 扩展同构系统时，需要从单个节点复制大量数据，这不适合自动化

21. 异构系统将数据分成大小相似的许多分片，并且每个分片的多个副本可以分布到集群中的任何存储节点. 如果节点发生故障，整个群集将恢复原始服务，而不是几个固定存储节点.

22. 两个重要的分布式协议: 两阶段提交协议用于确保跨多个节点的操作的原子性，也就是说，跨多个节点的操作必须在所有节点上成功执行，否则将全部失败. Paxos协议用于确保多个节点同意投票（例如，哪个节点为主节点）. Paxos协议有两种用法: 一种用法是使用它来实现全局锁定服务或命名和配置服务，例如Google Chubby和Apache Zookeeper. 另一种用法是使用它将用户数据复制到多个数据中心，例如Google Megastore和Google Spanner

23. 为了实现高可用性，主节点通常以操作日志的形式将数据同步到备用节点. 如果主节点发生故障，备用节点将建议成为主节点

24. Paxos协议的执行步骤如下:

1）批准（接受）: 提议者发送一条接受消息，要求所有其他节点（接受者，接受者）接受某个提议值，接受者可以接受或拒绝.

2）确认（acknowledge）: 如果超过一半的接受者接受它分布式存储系统:原理解析与架构实战pdf，则表明建议的值已经生效，并且提议者发送确认消息以通知所有接受者该提议是有效的.

当存在网络或其他异常时，系统中可能会有多个投标，并且每个投标都会启动不同的投标. 这里的建议可以是修改操作，也可以是成为主节点的建议. 如果提案第一次发起的接受请求没有被接受者中的多数批准（例如，与其他提案提议冲突），则需要执行完整的Paxos协议回合. 过程如下:

1）准备: 建议者首先选择一个建议编号n，以将准备消息发送到其他接受者节点. 接受者收到准备消息后，如果投标的序列号大于他已经响应的所有准备消息，则接受者将回复上次接受该投标的投标，并承诺不答复小于n的投标.

2）批准（接受）: 提议者在收到多数派在接受者中准备的答复后进入批准阶段. 如果接受者在上一个准备阶段回复了最后接受的提议，则该提议选择具有最高序号的提议值并将其发送给接受者进行批准；否则，投标将生成一个新的投标值，并将其发送给接受者以供批准. 接受方接受此请求，而不会违反其在准备阶段的先前承诺.

3）确认: 如果超过一半的接受者接受，则建议的值生效. 提议者发送确认消息，以通知所有接受者提议生效. Paxos协议需要考虑两个问题: 正确性，即，只有一个提议的值会生效；终止，也就是说，总会有一个建议值生效. Paxos协议要求接受者中的多数接受每个有效的提议，并且每个接受者将不接受两个不同的提议，因此可以保证正确性. Paxos协议不严格保证终止. 但是，从Paxos协议的执行过程可以看出，只要有一个以上的接受者接受提议，该提议就会迅速找出并重新提议具有最大序号的提议值. 因此，随着协议的继续执行，它将更接近最终目标: “大多数人接受并具有一定的提议价值. ”

摘自Wiz笔记

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-173781-1.html