对分布式存储系统的一些理解和实践(2)

Hbase: 它是集中式的，但是客户端维护元服务器的缓存. 通常，网络在读写期间不需要查询元服务器. 因此，从hbase的角度来看，集中式不会影响其性能. 但是，hdfs层的读取和写入必须涉及名称节点，因此性能较低. Hbase + hdfs的分层体系结构有很多好处，但是显然性能会很差. 卡桑德拉: 它是完全分布式的. 客户端可以连接到任何节点以进行读取和写入. 此访问节点使用一致的哈希来定位实际上负责此读写的节点，然后再进行读写. 效率高于hbase. Ceph: 它是完全分布式的. 客户端通过监视服务器获取节点信息，将其缓存在本地，然后使用Crush算法直接定位要读取和写入的主节点. 从这个角度来看，ceph的效果要比cassandra的效果高. 2）独立存储引擎分布式存储通常使用LSMT引擎，该引擎将随机写入转换为顺序写入日志和内存（内存）方法分布式存储系统，从而可以大大提高写入性能. 读取操作，或通过索引来提高性能. 分布式存储的数据模型通常是无模式的，也就是说，无需预定义每行中包含哪些列以及每列的类型，并且可以在多行中包含不同的列；通常只有主键索引；数据不必考虑完整性约束（例如外键约束），列类型约束，NOT NULL约束等；因此它更适合使用LSMT引擎实现，而关系则不太适合.

无模式是分布式存储通常具有更高性能的原因之一. 图7 LSMT？ Hbase，cassandra和ceph都是wal方法. 依次写入日志后，写入实际数据. 写入数据时，hbase和cassandra写入memtable（从bigtable派生），从而减少了对硬盘的更多随机写入. Ceph不是可记忆的方法，它直接写入文件系统并定期同步. Memtable方法对较小的值更友好，但是需要引入压实，并且压实带来更多的操作和维护工作. 由于其块存储功能，Ceph经常修改对象的一小段. 如果使用内存表，则即使修改了一个小段，也必须重写整个对象，这效率相对较低. 7.操作和维护的简便性主要是操作的速度和简便性，例如容量扩展和更换（一台机器损坏并被另一台机器替换，这可能涉及迁移数据），升级和磁盘故障（数据修复）. 存储机通常是12 * 2T磁盘，有些极端的机器现在有24 * 4T磁盘. 一台机器中存储的数据量非常大. 机器的扩展或更换通常需要几个小时甚至一天. 在这段时间内，存储系统处于丢失副本的状态. 如果这段时间的好的副本失败分布式存储系统，后果可能很严重；因此，请尝试避免数据迁移或缩短迁移时间.

1）？容量扩展，替换和升级Hbase: 如果不考虑hdfs，则容量扩展和替换会更容易，因为它不涉及迁移数据. 由于Hbase的单点问题，升级不可避免地会影响服务. 对此进行了持续优化，例如前面提到的区域服务器备用机制和hdfs名称节点的热备用机制. 卡桑德拉（Cassandra）: 由于八卦广播的局限性，很难做到，因此360拥有多达几十个卡桑德拉集群，这给运维带来了很多工作. 扩展和替换涉及数据的迁移，这更加麻烦. 通常，它将被绕过. 在集群构建开始时，一个步骤就位，并且不会执行后续扩展. 如果机器损坏，请直接修理而不是更换. 卡桑德拉的升级具有优势. 对于3份副本，您一次最多可以升级1/3台计算机，而不会影响读写. Ceph: 我还没有在大型集群上工作. 理论上，破碎机制可以构建相对较大的集群（可能几千个单元），但是数据的扩展和替换是不可避免的. 由于不确定这些节点上是否有数据的多个副本，或者不确定多台计算机上是否存在同一批数据的副本，因此最好升级一台计算机，以免影响服务. 磁盘故障由磁盘故障引起的数据修复是通过是否足够快或足够自动化来衡量的.

磁盘写入性能是修复速度的瓶颈. 全局修复机制可以自动化. 因此，这三个系统在这一点上几乎没有区别. ?? 2）？ 8.复杂的查询和事务分布式存储系统与关系相比可以实现高性能和高可伸缩性，主要原因之一是选择不支持复杂的联合表查询和事务操作. 联合表查询通常不支持分布式表存储系统，但是通过冗余存储可以实现类似的功能要求. 还不支持复杂的交易. 但是仍然可以支持简单的事务，例如单行事务，CAS（比较并设置）. 1）交易Hbase: 支持单行交易（可以是多个操作）. 由于单点区域服务器，可以在单台机器上轻松实现. 这是单点区域服务器的优势. Cassandra: 支持单个操作的行级锁定；单列的cas操作（取决于paxos多机协商，这更加复杂且效率低下）. Ceph没有这样的要求，自然不会支持它们. ??以上是一些实践的总结，有的补充了自己的理解，如果有错误，请也指出，谢谢.

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-208278-2.html