分布式存储学习材料(2)

？ B树存储引擎是树的持久实现. 它不仅支持单个记录的添加，删除，读取和修改，还支持顺序扫描. 相应的存储系统是一个关系. ？与B树存储引擎一样，LSM（日志结构合并树）存储引擎也支持添加，删除，修改，随机读取和顺序扫描. 它通过批量转储技术避免了随机磁盘写入的问题，并被广泛使用. Internet后台存储系统，例如Google Bigtable，Google LevelDB和Cassandra系统. 5.3.1独立存储系统3.数据模型？如果存储引擎等效于存储系统的引擎，那么数据模型就是存储系统的外壳. ？存储系统的数据模型主要包括三类: 文件，关系和键值模型. ？传统文件系统和关系系统分别使用文件和关系模型. 关系模型具有很强的描述能力和良好的生态性，是当前存储系统的行业标准. •新型关系弱的键值模型和表模型因其可伸缩性，高并发性和性能优势，在越来越多的大数据应用场景中开始发挥重要作用. 5.3.2分布式存储系统1.基本概念（1）异常（2）超时（3）一致性（4）度量-性能-可用性-一致性-可伸缩性5.3.2分布式存储系统2.性能分析？性能分析可用来确定设计方案中是否存在瓶颈，权衡各种设计方案，也可以用作后续性能优化的基础.

？性能分析和性能优化是相对的. 在系统设计之初，性能分析用于确定设计目标，以防止出现重大设计错误. 在对系统进行测试之后，有必要通过性能优化方法找出系统中的瓶颈点. 逐步消除以使系统达到设计开始时确定的设计目标. 在设计开始时，首先分析整个体系结构，然后关注可能成为瓶颈的独立模块. 系统中的资源（CPU，内存，磁盘，网络）是有限的，性能分析是要查找可能的资源瓶颈. 5.3.2分布式存储系统3.数据分配？分布式系统可以将数据分发到多个节点，并在多个节点之间实现负载平衡. 主要有两种方法: –散列分布，例如一致的散列，将系统表示为Amazon的Dynamo系统； –顺序分配，即每个表上的数据根据​​总体主键排序，将系统表示为Google的Bigtable. ？将数据分发到多台计算机后，您需要确保多台计算机之间的负载平衡. 分布式存储系统需要能够自动识别高负载的节点. 当某台计算机具有高负载时，它会将其服务的部分数据迁移到其他计算机，以实现自动负载平衡. 5.3.2分布式存储系统4.复制？为了确保分布式存储系统的高可靠性和高可用性，通常将数据存储在系统中的多个副本中. 当某个副本存在故障的存储节点时，分布式存储系统可以自动将服务切换到其他副本，从而实现自动容错.

？分布式存储系统通过复制协议将数据同步到多个存储节点，并确保多个副本之间的数据一致性. ？在相同数据的多个副本中，一个副本通常是主副本，另一个副本是备份副本. 主副本将数据复制到备份副本. 当主副本发生故障时，分布式存储系统可以自动将服务切换到备份副本云计算分布式存储，以实现自动容错功能. 5.3.2分布式存储系统5.容错能力？分布式存储系统首先需要能够检测计算机故障，然后需要将服务复制或迁移到群集中的其他普通节点. 表5.3 Google数据中心成立第一年的操作失败频率. 故障类型. 影响范围0.5数据中心过热. 大多数计算机在5分钟内关闭电源，然后在1-2天内恢复. 1配电单元（PDU）发生故障500至1000台计算机立即脱机，在6小时内恢复，生成1个频率，生成20个机架，调整网络，更新新型的故障线路机架，大量警报，500至关闭1000台计算机，在6小时内恢复，大约5％的计算机脱机两天以上受影响的范围40〜80台计算机立即脱机，在1〜6小时内恢复5个机架不稳定40％〜80台计算机具有50％的数据包丢失12路由器重新启动DNS，外部虚拟IP服务失败了大约几分钟5.3.2分布式存储系统6.可扩展性？有很多方法可以实现可伸缩性，例如增加副本数或缓存以提高读取能力，对数据进行分片，以便可以将每个分片分发到不同的工作节点以实现分布式处理，将数据复制到多个数据中心，等

？同时，应在节点故障恢复时间，扩展自动化和扩展灵活性之后综合考虑分布式存储系统的可扩展性. 5.3.2分布式存储的发展历史分布式协议（1）两阶段提交（2PC）: 由阶段1请求阶段（准备阶段）和阶段2提交阶段（提交阶段）组成，通常用于实现分布式事务以确保交叉多个节点操作的原子性. （2）Paxos协议: 用于解决多个节点之间的一致性问题. Paxos协议考虑到主节点可能会发生故障，并且系统需要选择一个新的主节点. 该协议可以确保多个节点之间操作日志的一致性，并在这些节点上构建高度可用的全局服务，例如分发锁定服务，全局命名和配置服务等. 5.4实践: 分布式存储系统Ceph 5.4.1概述5.4. 2设计思想5.4.3总体体系结构5.4.4集群部署5.4.1概述？ Ceph最初是由加利福尼亚大学圣克鲁斯分校（UCSC）开发的Sage Weir（Sage Weil）进行的有关存储系统的研究项目. Ceph是一个统一的分布式存储系统，具有卓越的性能，可靠性和可扩展性. 其中，“统一”和“分布式”是理解Ceph设计思想的起点.

①Unity: 表示Ceph可以同时提供“对象存储”，“块存储”和“文件系统”三个功能以及一套存储系统，以满足不同应用程序的需求. ②分布式的: 表示中心结构和系统大小的无限扩展（至少在理论上无限）. 实际上，Ceph可以部署在数千台服务器上. 5.4.2设计思路？ Ceph最初将目标应用场景设计为的分布式存储系统，这意味着它可以承载至少PB的数据，并且由数千个存储节点组成. 在Ceph的设计理念中，对于大型存储系统，主要考虑以下三种情况的变化特征: 存储系统大小的变化，存储系统中设备的变化以及存储中数据的变化. 系统. ？ Ceph的设计思想可以概括为以下两点. –充分发挥存储设备的计算能力–删除所有中心点5.4.3总体架构图5.7 Ceph存储系统的总体架构5.4.4群集部署1.环境准备工作2. 安装Ceph部署工具（仅主节点）3. Ceph节点配置4. Ceph安装5.添加OSD节点图5.8 Ceph存储集群准备表5.4主机信息主机名admin-nodenode1 node2 node3IP 172.20.0.195 172.20.0.196 172.20.0.197 172.20.0.198配置4核，4GB内存，CentOS 7 4核，4GB内存，CentOS 7 4核，4GB内存，CentOS 7 4核，4GB内存，CentOS 7摘要？分布式存储的基础？文件存储？从独立存储系统到分布式存储系统？练习: 分布式存储系统Ceph Class Review 1.分布式存储的定义是什么？ 2.分布式存储有哪些类型？ 3. SAN和NAS有什么区别？ 4.比较不同文件系统的特征.

课外思考1.是否有一个文件系统可以处理所有类型的文件存储？为什么？ 2. Paxos的原理和机制是什么？动手实践1 Ceph在2004年提交了第一行代码，至今已有十多年了. 该项目起源于Sage的博士论文，是最早致力于下一代高性能分布式文件系统开发的项目. 现在，它已成为开源社区中的著名明星项目. 随着云计算的发展，Ceph充分利用了OpenStack的春风，受到了主要制造商的欢迎，成为IaaS计算，网络和存储的三个主要组成部分之一. ？任务: 通过Ceph官方网站下载并安装最新软件，以进一步了解Ceph的原理. ？任务: 了解并练习CRUSH（可伸缩哈希下的受控复制）算法. 动手实践2 Hadoop分布式文件系统（HDFS）是高度容错的系统，适合在廉价机器上进行部署. HDFS可以提供​​高吞吐量的数据访问，非常适合数据集上的应用程序. HDFS是Apache Hadoop Core项目的一部分. ？任务: 通过Hadoop的官方网站下载并安装最新的Hadoop软件，以了解有关HDFS的工作原理的更多信息.

本文来自电脑杂谈，转载请注明本文网址：
https://www.pc-fly.com/a/jisuanjixue/article-237485-2.html