基于Ceph的分布式存储节能技术的研究与实现

【摘要】: 分布式存储是数据中心广泛使用的存储系统. 在带来性能和可靠性的同时，它还消耗大量能量. 在数据中心的能源消耗中，分布式存储消耗了大部分能源. 因此，为了降低数据中心成本，实现绿色计算，分布式存储的节能技术已成为学术界和工业界的研究热点之一. Ceph是近年来出现的一种流行的分布式存储，并且由于其高可伸缩性，高性能分布式存储实现技术，高可靠性以及高达PB的数据容量而受到越来越多的关注. 但是，Ceph还面临着如何减少能耗的问题. 一方面，Ceph的数据放置算法使数据副本随机分布在数据节点之间，这限制了系统可以实现的节能率. 当系统很大时，节能可能非常有限. 另一方面，Ceph存储系统中没有有效的电源管理机制. 所有节点都在全时运行，这在系统低负载期间会产生很多不必要的能耗. 因此，针对这两个问题，本文做了以下工作: 首先，针对基于CRUSH算法的Ceph数据布局，提出了一种节能的PEPGO数据布局优化算法. 通过对系统节点层次关系描述图Crushmap和副本放置规则的分析，确定数据分布的故障域，然后将故障域划分为不同的功耗组. 数据副本分为不同的功耗组，同时又分为不同的故障域，从而增加了系统中可以关闭的节点数量，同时确保了完整的数据集可用，并增加了系统比例可以节省能源. 随着系统节点数量的增加，节能将是可观的. 其次，基于变速模型，提出了Ceph的多级电源管理策略，以使系统在不同的负载状态下以不同的功耗级别运行，从而节省了能耗. Ceph存储系统设计的初衷是高性能和高可伸缩性. 但是，在实际应用中，系统通常处于低负载状态. 此时，可以适当关闭某些节点以节省能耗. 本文提出的多级电源管理策略可以根据负载状态调整功耗状态，从而在满足负载需求时有效降低系统能耗. 最后，基于以上两点，设计并实现了Ceph分布式存储的电源管理系统. 该系统使用Ceph的配置和管理接口来优化数据布局，监视接口以实现负载跟踪，并结合服务器硬件电源管理机制和网络唤醒技术来执行特定级别的切换，从而为Ceph系统实现动态电源. 管理. 本文对该系统进行的实验和测试表明分布式存储实现技术，该系统能够有效降低Ceph存储系统的能耗，确保Ceph分布式存储的服务质量.

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-186798-1.html