首次为核心业务设计全闪存分布式存储架构

今天是云计算和大数据时代. 企业业务的持续增长要求存储系统的IO性能不断提高.

机械磁盘的IOPS一直徘徊在数百个级别. 为了提高传统存储的性能，一些存储供应商添加了缓存层. 但是，当前的应用程序正在从单一更改为多样化，从而导致IO特性无法预测并且难以缓存.

机械磁盘依赖于磁盘的旋转以及机械手的运动来执行IO. 目前，旋转速度基本达到了物理极限，因此机械磁盘的性能一直在徘徊，无法满足企业核心业务的存储性能要求. 作为一种全新的闪存媒体，SSD开始进入企业的数据中心，并逐渐成为应用程序的主流.

全闪存，企业核心存储的新选择

企业对存储的要求是满足业务需求的性能和容量，而且价格合适.

首先，从容量的角度来看，当前主流的SSD单盘容量已达到8T，完全可以满足各类企业应用的需求.

从性能的角度来看，第二个NVMe SSD的性能约为100万IOPS，相当于5000个7.2k SATA HDD的性能. 在延迟方面，NVMe SSD的延迟约为10微秒，是机械磁盘的一半.

最后，从单个磁盘的价格来看，SSD比机械磁盘更昂贵，但是从单个IO的成本来看，SSD的性价比要远高于机械磁盘. . 最近，英特尔推出了96层QLC NAND颗粒，并正在研究114层NAND. 随着技术的进步，固态硬盘的性价比将进一步提高.

简而言之，全闪存可以满足高核心存储IOPS和企业核心业务低延迟的要求，并可以降低总拥有成本. 可以说，选择全闪存作为企业核心存储是大势所趋，因此制造商需要设计用于全闪存的存储系统.

三种闪存存储解决方案

如上图所示，当前行业中有三种基于全闪存的存储解决方案:

第一种是传统方式.

使用SSD作为缓存或将传统存储中的机械磁盘直接替换为SSD磁盘，此方法无法实现完整的闪存性能.

由于传统存储诞生于机械磁盘时代，因此它是为机械磁盘而设计的. 当前NVMe SSD的性能已达到100万IOPS，与机械磁盘有很大差异.

传统存储受到底层体系结构设计的限制，并且没有有效的软件转换或全闪存优化. 即使采用全闪存配置，也无法发挥NVMe SSD的性能. 传统的存储解决方案不再适合携带. 高速闪存介质.

第二种是完整的闪存阵列.

与传统方法相比，全闪存阵列的性能有了很大提高，可以满足当前的业务需求.

全闪存阵列通常使用专有硬件，这会导致高成本. 另一方面，传统阵列通常使用双控制器互相备份. 纵向扩展无法提高性能. 水平扩展受控制器数量的限制. 通常，它可以扩展到8-16，导致可伸缩性和灵活性较差. 还不够.

第三种是全闪存分布式存储.

分布式存储通过网络连接存储节点，以提供集群形式的服务.

首先，它使用通用X86硬件来标准化硬件并降低总拥有成本.

第二个，灵活的扩展. 群集中的每个节点都具有存储和计算功能，并且群集的容量和性能随着节点数量的增加而线性扩展. 无心设计使群集很难形成瓶颈节点，并且在理论上可以无限期扩展.

第三，NVMe SSD经过特别设计和优化，性能强劲.

此外，随着25G和100G网络的普及以及RDMA网络的低延迟，分布式全闪存的跨节点扩展已不再是瓶颈. 在全闪存和高速RDMA网络的支持下，分布式全闪存架构已成为企业核心业务的理想选择.

NeonSAN——值得选择的全闪存分布式存储

接下来介绍QingStor NeonSAN，这是专为核心业务设计的全闪存分布式块存储. 它由Qingyun QingCloud独立开发，突破了传统存储容量和水平扩展的瓶颈，其性能可与全闪存媲美. 高端存储阵列.

NeonSAN还是用于云的分布式存储，它本身就适应了各种应用程序生态系统，例如虚拟化，大数据和容器.

首先让我告诉您NeonSAN名称的由来: 名称的后半部分是SAN，SAN表示产品的形式，Neon是元素周期表中neon的代号，是惰性气体，并且具有非常高的稳定性Sex，因此NeonSAN的名称暗示这是一种稳定的企业级存储产品.

NeonSAN核心模块由数据层和控制层以及前端接口和运维管理工具层组成.

NeonSAN核心模块采用并行流水线技术，设计资源调度系统，内存管理系统，元数据管理系统，全闪存存储系统的RDMA网络系统等，以创造高可用性，高可靠性，高性能，灵活性. 扩展全闪存分布式存储.

NeonSAN提供9x9的可靠性，单卷性能达到100,000 IOPS，最小延迟小于90微秒.

在扩展方面，NeonSAN可以扩展到1024个节点，容量和性能随节点的增加而线性增加.

NeonSAN的基本体系结构由Zookeeper服务，元数据服务，管理服务，存储服务和访问服务组成.

Zookeeper提供集群发现服务；元数据服务用于记录集群中的元数据，例如节点信息分布式存储硬件架构，SSD信息和卷信息；管理服务提供群集管理功能，例如节点联机，卷创建等.

数据存储服务用于为客户提供特定的IO. 它承载业务发送的IO请求. 它采用对等设计. 每个存储节点的状态相同，可以提供IO服务.

点对点设计可以确保在集群中的某个节点发生故障时，其他节点可以接替发生故障的节点以继续服务，确保业务连续性，并为容量和性能的线性扩展提供基础的集群.

访问服务. 第一个模块是QBD内核驱动程序. Windows Server和Linux Server上有相应的版本. 它允许服务器通过使用本地磁盘来使用NeonSAN. 上层业务不需要任何修改. 它可以连接到NeonSAN，非常方便.

第二个是模块是QEMU，它可以为虚拟机提供云硬盘驱动器.

第三，该模块是通用的iSCSI接口，可以为VMware等虚拟化平台提供存储服务.

此外，NeonSAN还提供高速NVMe-oF接口和CSI接口，以为容器提供持久存储服务.

NeonSAN如何满足高可靠性和高可用性

接下来讨论NeonSAN的网络设计如何满足高可靠性和高可用性.

NeonSAN网络分为两个部分: 前端业务网络和后端互连网络. 两个前端交换机和两个后端交换机用于形成高可用性网络. （该交换机可以是普通的以太网交换机，而无需昂贵的设备，例如FC交换机. ）

每个NenonSAN节点配备有两个网卡，每个网卡都有两个网络端口，分别连接到后端交换机和前端交换机. 如果交换机A发生故障，将影响NeonSAN节点1、2和3的网卡A. 通过这三个网卡进行交互的任何业务也将受到影响.

这时，NeonSAN节点将自动将网络流量切换到网卡B，然后转到交换机B，以确保整个群集网络的可用性. 同样，当网卡发生故障时，整个网络仍然具有很高的可用性.

NeonSAN的数据可靠性和可用性是通过复制机制实现的.

当您在Linux服务下看到一个块设备，或者在Windows Server下看到一个与NeonSAN集群相对应的磁盘时，该磁盘将被切成碎片.

如图所示，有红色，，绿色和紫色的四个切片，每个切片将具有三个副本，分别存储在不同的节点中. 如果任何节点上的数据已损坏，则不会导致数据丢失. 可用性也相同，如果节点1无法提供服务，则节点2或3可以继续提供服务以确保整个群集的可用性.

NeonSAN的数据同时由三个副本写入，为确保数据之间的强一致性，请从主副本读取数据. 数据副本可以按卷灵活配置. 在群集中，可以有一个副本卷，两个副本卷或三个副本卷.

NeonSAN支持精简配置和完全配置. 群集可以同时具有精简配置卷和完全配置卷.

让我们通过一个例子来了解NeonSAN强一致性写入过程的IO路径.

首先，客户端将IO发送到三个副本主副本节点. 当主副本节点接收到IO请求时，它将同时做两件事: 一是将IO请求发送到其本地SSD，它还将发送该请求. 提供两个从属副本. 当两个从属副本IO完成并且本地IO也完成时，它将在三个IO同时完成后返回到客户端，并写入三个副本.

NeonSAN分布式全闪存的黑技术是什么

NeonSAN是用于全闪存的分布式存储系统. 全闪存有哪些特殊设计？

首先，NeonSAN使用非常短的IO路径，这是提供出色性能的基础.

NeonSAN只需3个步骤即可完成IO. 将客户端的IO发送到存储节点后，存储软件经过处理将其直接发送到本地SSD.

行业中的其他分布式存储必须经历许多步骤: 由存储软件处理后，再发送到本地文件系统，它还需要写入日志. ，此IO路径很长. （简单来说，这很慢）

NeonSAN采用自行开发的SSD管理模块直接管理本地裸设备，不依赖于本地文件系统，不需要日志或缓存，极大地简化了IO路径，从而将延迟降至最低，与SSD接近. 延迟的大小.

接下来讨论NeonSAN并行管道处理的设计.

传统机械磁盘只有1个队列，深度为32，NVMe SSD通常有128个队列，每个队列的深度为128，并且也是使用传统软件设计的. 显然NVMe处于饥饿状态，无法发挥队列和深度优势.

NeonSAN采用并行管道将IO分为接收，调度和放置.

例如，在机械磁盘时代，超级市场只有一个收银机和一个团队. 但是，在NVMe SSD时代，超市拥有128个收银机. 如果我们仍然有一支团队，那将带来巨大的资源. 浪费，有必要使用并行IO中的多个IO队列来充分发挥NVMe SSD本身的性能并提高SSD的利用率.

在微秒SSD时代，操作系统逐渐暴露出一些问题，例如低效的CPU内核调度和争用内存资源，以及调度期间的切换，这导致了巨大的延迟.

在高并发压力下，多核CPU竞争和不合理的调度成为性能瓶颈. NeonSAN特别设计了一种资源调度引擎，以避免调度问题和内存争用问题导致的延迟开销.

首先，在网卡上，我们分配了专用的接收和解析IO管道. 对于IO调度管道，我们为其分配了专用CPU，以避免由于来回切换调度管道而造成不必要的上下文开销，并实现了专用的CPU服务. 特殊的装配线.

在内存方面，当系统软件启动时，立即申请所需的内存，并根据不同管线的需求将其分配给接收和解析IO调度和数据放置的管线，以避免频繁的应用和释放在IO过程中访问页表和内存锁以及内存碎片问题的额外开销.

资源调度引擎确保NeonSAN可以将延迟控制在非常低的水平，同时获得高效的IO.

分布式存储取决于网络. NeonSAN使用高效的RDMA网络将业务与数据网络分开. 存储网络中的IO不会对业务网络造成压力，并避免资源竞争.

NeonSAN采用端到端RDMA网络设计. 存储和存储服务的内部节点以及客户端都使用RDMA网络.

RDMA网络的内核旁路和零拷贝的特性使网络中的单个IO延迟非常低，异步消息机制可以使多个IO的并发效率更高.

NeonSAN分发了全闪存运行评分和方案练习

上面介绍了NeonSAN的基本体系结构和全闪存的特殊设计. 让我们看一下NeonSAN的实际性能.

从E企业研究院的测试结果可以看出，在两个客户的压力下，随着数量的增加，NeonSAN集群提供的性能呈线性增加，并且延迟几乎不变.

以4K写入为例，单个卷的IOPS超过130,000，而四个卷的IOPS已增加到470,000，接近线性增长；单个音量的延迟为0.943毫秒，四个音量的延迟基本不变.

NeonSAN提供了一个智能的运维系统，可以通过可视化的图形界面实现存储集群的运维和配置，并提供业务资源的监控和审计.

此外，NeonSAN还提供对闪存介质的监视，例如可以预告保留空间，使用寿命等，从而使用户可以制定合理的扩展计划.

NeonSAN的数据平衡和恢复设计也非常有特色. 大多数存储系统在容量扩展后都会立即开始数据平衡. NeonSAN的扩展完成后，您可以选择在业务或用户需求高峰期的任何时间平衡数据，也可以选择不平衡.

在某些情况下，没有必要平衡数据. 例如，原始群集容量为70％或80％. 在新扩展的节点之后，业务的新IO将落在新节点上. 需要在原始节点上重新放置数据.

在某些分布式存储系统中，当群集发生故障时，数据恢复将立即开始. 如果恰好是业务的高峰期分布式存储硬件架构，那么数据恢复势必会与正常的业务IO竞争资源. NeonSAN可控制数据恢复，用户可以选择在工作时间较短的时间内执行数据恢复.

NeonSAN作为企业级分布式块存储，具有广泛的应用场景. 除了为上述Oracle和其他企业核心提供共享存储外，它还可以是主流的虚拟化平台（VMware，OpenStack，Hyper -V等）. 提供数据磁盘，即云主机的云硬盘.

同时，NeonSAN还可以用作物理机的数据磁盘，为大数据分析和计算提供大容量存储，并为容器应用程序提供持久存储.

让我们看看财务用户的应用案例.

在采用分布式体系结构之前，用户采用了Oracle SuperCluster Solaris平台. 他们面临的问题是采购和维护成本昂贵，并且产能扩张十分复杂，因此他们无法迅速适应业务发展的需求.

然后，客户转向基于X86计算和存储分离的架构，使用NeonSAN的三节点全闪存配置作为存储节点，并为Oracle存储卷配置三个副本以提供更高的级别故障保护.

运行近两年后，NeonSAN分布式存储解决方案的优势主要体现在以下几个方面:

首先，在采用具有独立计算和存储功能的完全分布式体系结构之后，海量数据压力被分配到多个并发存储节点，并且系统性能和吞吐量呈线性增长.

第二，全闪存存储节点之间的RDMA互连将性能提高了100％以上. 该存储系统提供了一种负载平衡机制，可有效避免单点性能瓶颈.

开放式X86平台取代了传统的多合一机器和集中式存储设备. 运营成本.

NeonSAN为全闪存而生

NeonSAN诞生于全闪存时代. 它是用于全闪存的分布式存储. 它提供了高度可靠，高可用性和高性能的存储服务. 其丰富的界面可以承载传统的应用程序，例如，并且具有本地适应性. 虚拟化，大数据，容器和其他应用程序生态系统可在云时代提供有效的数据存储和管理，

NeonSAN提供了丰富的企业级功能. 它基于同步和异步数据复制，可以灵活地构建各种灾难恢复和主动-主动解决方案. 经过对众多企业客户核心业务的长期验证，NeonSAN是一种可以真正承载企业核心业务的全闪存分布式存储.

本文是有关“QingStor®️NeonSAN®️️️技术共享和最佳实践”的特别文章. 该主题目前正在不断更新，欢迎大家关注

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-186307-1.html