分布式存储-数据分发

随着数据量的增加，单台计算机的最大容量已无法满足庞大的数据存储需求. 因此，寻求分布式存储作为解决方案. 分布式存储结合了许多服务器，形成了一个提供外部服务的系统. 由于引入了大量服务器，因此大大增加了分布式系统发生故障的可能性. GFS论文提到分布式存储数据切分怎么用图表示，分布式系统中的机器停机故障并非罕见的现象，而是必须考虑的问题. 常见错误. 我们希望分布式系统可以在软件级别处理由此类硬件故障引起的系统错误，通常称为容错. 我们希望系统的高容错性将为我们带来高数据可靠性和高服务可用性.

高度可靠且受欢迎的是，我们写入的数据不会丢失.

通常，高可用性意味着我们始终可以执行读写服务，而不受节点停机时间的影响.

因此，由于独立故障是大型分布式系统中的常见故障，因此我们需要采用某种策略来分配数据，以防止由于独立故障而导致数据丢失的风险.

高可用性要求我们即使在节点出现故障时也可以提供服务，那么，如果仅将数据放在节点上，则该节点将无法提供服务，并且如果数据分配不够好分布式存储数据切分怎么用图表示，这是正确的. 导致系统访问热点并影响可用性. 因此，数据分发的重要性不言而喻.

数据分发会影响系统的读写延迟，负载平衡，可靠性，可用性，并发性能，可伸缩性和数据恢复. 数据分发通常有两种方式: 分区和复制.

分区的目的是提高可伸缩性. 系统的容量可以随系统规模线性增加. 分区的目的是充分利用一台机器上的多个内核或一个系统中的多个系统. 通过增加内核数或物理机数量，物理机资源可以使其容量几乎线性地提高.

一个好的分区算法，我们希望它可以使这些切片在物理资源之间均匀分布. 通常，进行分区时，有几种选择方法:

一致性哈希随机

复制通过添加冗余来提高系统可用性. 当然，这种方法也给系统带来了许多新问题. 我们假定冗余副本的数量为3（为什么副本数量通常设置为3？首先，冗余数量越高，成本越高，这就是为什么许多系统使用ec来存储冷数据的原因，以及副本的冗余性可靠性越高，选择冗余时中和的可靠性和成本也越高，但是，在需要强一致性的情况下，只要挂起一个副本系统就无法实现大多数，导致系统处于不可用状态，可用性不佳），将3个副本分发到不同的节点，甚至是不同的机架或数据中心，然后如何放置这3个副本以最大化系统可用性和性能，是的. 使用复制是副本放置的问题. 另一点是三份. 我们如何将用户数据复制到这三个副本中？是否有用户将数据并行发送到三个节点，而一个节点负责发送到其他节点？这就是在三个副本之间传送消息的方式. 问题. 更深一点，因为它是三副本冗余，我们需要确保三个副本的数据相同，如何确保三个副本的数据一致性，这就是副本一致性的问题.

复制会引起很多问题，因为我们将修改这些复制品. 如果数据一旦写入将不会被修改，那么随后的折衷将不会有太多.

多个副本之间的数据传输路径有多种方式，简单的可分为以下几种类型

副本位置会影响群集的可用性和可靠性.

由于多个副本分布在不同的节点上，因此提高了数据可靠性. 前提是我们应该确保这些冗余数据副本是一致的，否则增加可靠性是没有意义的. 当然，在正常情况下，当网络正常，磁盘正常且一切正常时，多个副本之间的数据必须保持一致，但是实际的生产场景并不是那么理想. 我们需要考虑各种异常情况，例如网络丢失数据包，故障，节点停机等，这些异常事件可能导致数据副本之间的不一致.

本文总结了两种常用的数据分发方法. 在分布式存储方案中，通常将两种方法结合使用以提高系统可用性和性能. 最重要的是根据用户方案进行权衡. 例如，非常关注延迟并且对强一致性没有特殊要求的方案可以退后一步以提供相对弱的一致性，例如最终一致性.

娱乐和利润的分布式系统复制: 理论和实践复制与实践pdfDesign数据密集型系统一致性hashCopysets: 减少云存储中数据丢失的频率Copyset和Chainset: 一种更好的复制方法

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-255495-1.html