操作和维护告诉您分布式存储的“陷阱”

简介

我在一家银行的技术公司中担任运维工程师. 几天前，我与Polar Bear一起吃饭，并谈到了我们在存储选择方面所采取的一些措施. 北极熊建议我写一篇文章，与读者分享. 我经常阅读有关云技术的技术文章. 这次，我记录了一些我们在选择存储时所采取的措施，这些可以视为反馈. 因为银行有要求，所以我们的银行名称和特定的业务操作都是隐藏的. 请原谅我.

首先简要介绍一下基本情况. 我们属于银行的技术公司. 移动支付和新金融的发展给银行带来了巨大的挑战. 该技术公司是银行的创新部门，它基于银行的资源，利用Internet进行创新.

经过一年多的深入研究和开发，我们准备在去年暑假期间开展一项新业务. 这时，我们遇到了一个调整，那就是生产环境的存储选择.

我们的业务情况是这样的:

因为这是一个新项目，所以它从容器和微服务开始，并且使用Jenkins进行发布，但是由于重用了一些旧组件（主要是计费），因此也需要虚拟化.

现在我必须去生产环境，发现存储遇到困难. 毕竟，生产环境不同于测试环境. 它必须高度可靠并且不能丢失数据；性能还必须满足要求，并且必须能够承受峰值. 此外，它必须支持Oracle，支持VMware虚拟化，并且最好支持容器环境.

当时有两个想法:

1. 使用商业存储；

2. 使用开源Ceph.

使用商业集中式存储阵列，我们计算出不仅成本惊人，而且核心需要一组存储，而VMware虚拟化也需要一组存储. 还有两个更困难的问题. 第一个问题是如何解决容器的存放问题. 尽管一些阵列制造商还可以为容器平台提供一些插件，但是商业集中存储阵列和云原生Kubernetes平台的技术架构显然不兼容. 使用，但是从技术体系结构选择的角度来看，它不能长期用作未来的体系结构.

第二个问题是商业存储的扩展. 我们已经计算了数据量. 如果业务发展顺利，则存储的数据量可能会更快增长. 添加快照，备份等后，存储空间可能不足半年. 解决方案只能是添加另一组存储. 尽管商业存储还支持多组存储级联，但是级联的容量有限. 如果在两到三年内达到级联的上限，那将会更加麻烦. 在我们的行业中也遇到过类似的情况. 该解决方案只能在业务层中拆分，这会产生太大影响.

如果在生产环境中使用Ceph解决方案，我们不知道可靠性是否可以满足生产环境的要求. Ceph对操作和维护功能有相对较高的要求. 在测试环境中，会不时遇到一些问题. 我们的部长很快拒绝使用Ceph解决方案. 部长首先要求稳定. 让我们尝试更多解决方案.

这时，一家保险公司的朋友作为一家运维公司推荐了他们使用的分布式存储，并说他们已经使用了半年，，VMware和Kubernetes都在运行. 性能很好，没有问题.

他建议在QingCloud QingCloud下使用QingStor NeonSAN企业级分布式块存储. 我进行了初步研究，发现这是一个很好的解决方案.

QingStor NeonSAN的简要介绍，该产品定位为核心业务的全闪存分布式块存储.

QingStor NeonSAN可以应用于多种业务场景:

容器和云，虚拟化方案

QingStor NeonSAN还对容器进行了大量调整. 它可以通过CSI插件连接到本地Kubernetes平台，还可以支持QingCloud QingCloud的KubeSphere容器平台.

QingStor NeonSAN不仅支持QingCloud自己的云平台，而且还支持常见的虚拟化平台，例如VMware，OpenStack和Hyper-V. 对于VMware客户，QingStor NeonSAN已通过了VMware Storage Ready认证，并支持VMware VAAI-Block功能.

方案

在场景中，QingStor NeonSAN不仅可以满足容量，性能和可靠性要求，还可以提供主动-主动和远程灾难恢复能力. 通过部署全闪存的QingStor NeonSAN，可以在同一QingStor NeonSAN上安装多个Oracle RAC，作为共享存储.

使用QingStor NeonSAN，不仅可以满足业务需求，还可以获得以下两个额外的好处:

我向部长报告了QingStor NeonSAN的初步调查，并决定首先联系PoC环境测试下的QingCloud工程师，共同构建测试环境.

PoC环境是三个全闪存服务器云计算 分布式存储，存储网络是RDMA，数据网络是完整的10G.

当然，功能测试并不是对接的终点，我们还严格地在各种场景下进行功能测试，例如Oracle仿真的创建，备份等场景. VMware和OpenStack模拟了虚拟机管理的整个生命周期，并且还在容器上运行了我们所有的业务测试用例，因此在此不做详细介绍. 简而言之，功能测试水平达到了我们的期望.

首先，我对FIO进行了基本性能测试，并将其与传统存储进行了比较. 在三种全闪存配置的情况下，IOPS可以达到60万以上.

随后，测试了各种业务场景并测试了极端情况. 只有3个测试环境，而正式环境中只有9个. 但是，根据施加压力的正式环境，我终于发现即使只使用3套，性能也可以满足要求，但容量还不够. 当然，随着节点数量的增加，分布式存储的性能也会提高.

考虑到生产环境可能遇到的极端情况，我们还进行了一系列破坏性测试:

顺便说一句，一般的分布式存储在扩展时会影响性能. QingStor NeonSAN提供了定期扩展功能，使您可以在夜间业务低迷时灵活选择启动数据重新平衡. 重新平衡也可能会限制速度，以最大程度地确保业务稳定性.

基于严格的测试，我们更有信心，并决定在生产环境中使用QingStor NeonSAN，并将传统存储用作紧急备份.

业务上线相对顺利，促销效果也不错. 整个系统已经运行了半年多，并且相对稳定，没有任何重大问题. 特别是对于QingStor NeonSAN存储，一组存储支持，虚拟化和容器的多种方案. 中间，由于业务发展的需要，容量已经扩大了两倍，并且非常稳定.

由于深入使用QingStor NeonSAN存储，我特意研究了软件定义的存储，并分享了在此方面收集的一些数据以及我的分析. 近年来的存储市场可以描述为上升和下降. 传统存储的市场份额一直在下降，软件定义存储（SDS）的市场份额已经飙升. SDS变成了草原之火.

SDS取得快速增长的原因主要归因于以下三个主要原因: 技术的迭代发展，云计算的加速以及用户数据的指数增长.

在硬件方面，SSD和网络技术正在突飞猛进. 2017年，SSD市场首次超过HDD. 根据研究机构Mordor Intelligence的统计，2019年固态硬盘（SSD）的市场份额为348.6亿美元. 将达到803.4亿美元.

在网络方面，随着10G网络，RDMA技术和InfiniBand体系结构的普及，网络将沿着10Gb，25Gb，100Gb的路径发展，将来甚至可能达到400Gb.

根据Gartner发布的最新云计算市场跟踪数据，2019年全球云计算IaaS市场持续快速增长，同比增长37.3％，整体市场规模达到445亿美元. 美元. 根据IDC统计，到2025年，全球数据量将达到163ZB.

闪存和网络技术的迭代为SDS的开发奠定了良好的硬件技术基础. 云计算的基础存储基本上是SDS，在SDS方面积累了丰富的经验. 用户的大数据存储需求刺激了SDS的发展.

在IDC最新的“中国软件定义的存储和超融合市场跟踪研究报告，2019年第4季度”中，青云QingCloud的QingStor企业级分布式存储和Green Cube超融合均入选具有出色技术和市场表现的核心供应商. 其中，QingStor NeonSAN已连续两年入围，在软件定义的块存储市场中排名前四位，并成功推动了QingStor企业级分布式存储的发展，过去三年的复合增长率超过600％年.

NeonSAN这个名称也非常有意义. NeonSAN的名称来自元素周期表中的Ne. Ne是一种惰性气体，其特性是稳定性，这意味着NeonSAN已达到相对较高的可靠性和稳定性.

在不断积累之后，由于硬件迭代和用户需求，软件定义的存储变得更加成熟. 但是云计算 分布式存储，传统存储昂贵且可伸缩性差，无法再满足对海量数据存储的需求. 海的浑浊是英雄. SDS能够在高可靠性和高性能方面满足核心业务需求，尤其是QingStor NeonSAN，它不仅具有9 9s的可靠性，出色的性能和强大的可伸缩性，而且还具有快照和克隆. 企业存储功能（例如加密，QoS，异步/同步复制，容灾等）是企业核心业务值得选择的存储.

基于第二代英特尔®至强®可扩展平台的QingStor NeonSAN可以确保为企业客户提供计算，存储，网络和软件方面的功能强大，安全，可靠且易于使用的软件定义. . 存储解决方案，从而大大降低了系统部署的复杂性和总体拥有成本，并快速无缝地连接企业现有的重要业务. 此外，QingStor NeonSAN与Intel®Optane™SSD（Optane）和Intel®Cache Acceleration Sotware（Intel Cache Acceleration Sotware）以及其他新技术兼容，以实现超高吞吐量和极低的延迟，并且Intel共同优化了性能整体解决方案，可以完全满足企业应用程序的严峻挑战.

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-287872-1.html