分布式云计算实践，这里您想知道的一切！

▼

▼

在过去的十年中，云计算已悄然改变了人们的生活方式和商业模式，并可能在未来重塑新的工业格局. 随着人工智能和物联网等新兴产业的不断涌现，作为云计算分布式技术基础技术的核心代表，为云提供商提供了哪些技术能力来满足用户日益复杂的业务需求？

所谓的分布式技术是将业务拆分为不同的子业务，然后在不同的机器上执行它们. 与单机集群部署可能导致系统庞大，系统复杂，难以维护，单点故障，可扩展性差等问题相比，分布式技术在云计算架构中的应用更多. 它的可扩展性和资源在池化，硬件容错和性能改进方有巨大优势. 那么，分布式技术在特定的云计算产品中的应用实践是什么？

针对此问题，5月28日，UCloud TIC（北京站）“分布式云计算实践”技术特别会议上，四位UCloud高级技术专家分享了他们的技术经验和实践经验.

RSSD块存储的详细应用场景和技术

作为云计算的基本组件，块存储可以为云服务器提供随机读写功能，并具有持久存储，高可靠性和低延迟. 多副本冗余还用于避免由于网络硬件故障而导致的数据可用性. UCloud技术总监彭敬新在现场分享中提到，使用分布式技术，块存储可以实现计算与存储的分离. 它带来的好处是:

1. 迁移. 在预测机器故障之前，当我们将虚拟机迁移到另一台正常运行的主机时，不需要迁移磁盘上的数据，只需迁移CPU和内存，整个过程可以在数十年内完成. 秒. 如果没有将计算和存储分开，则可能要花费数十分钟甚至几小时，并且迁移过程会极大地影响用户的IO体验.

2. 从停机中恢复. 如果主机关闭，我们只需要使用远程分布式存储，并在另一台主机上分配CPU和内存，即可在新主机上快速启动虚拟机. 停机时间的恢复速度基本上可以在一分钟内完成. 如果不计算存储空间，则可能需要数十分钟甚至更长的时间.

3. 高可用性和高可靠性. 通过分布式技术，可以在后端检测到节点故障，并在几秒钟内删除故障副本云计算及其分布式架构，从而避免了由节点硬件故障和网络故障引起的存储数据问题和可用性问题.

4. 存储池. 分布式存储构成了更大的池化容量，并实现了按需分配的存储空间，避免了本地存储过度碎片的问题. 某些软件级设计甚至可以提供32TB，40TB和100TB等超大容量存储.

在过去的几年中，存储行业的基础硬件和软件技术经历了快速的发展. 从存储介质（从HDD到SATA SSD到NVMe SSD），性能已提高了一百倍. 100G网络接口也迎来了跨越式发展. 面对这些发展，UCloud块存储团队已经完成了许多低级的研发和设计工作. 产品从普通云盘升级到SSD云盘反映了这一点. IOPS从1000增加到24,000，延迟从5-10毫秒减少. 0.5-3毫秒加上今年推出的最新RSSD云磁盘，IOPS增长了50倍，达到120万，顺序吞吐量提高了18倍，延迟降低到了0.1毫秒.

为了启动这种超高性能的RSSD云磁盘，UCloud在系统级别做了很多工作，以充分利用NVMe的硬件功能. 首先是在客户端使用vhost用户技术通过vring实现从虚拟机到存储客户端的数据零拷贝. 网络协议使用RoCE代替TCP. RoCE可以提供一种特别清晰和简单的消息机制，允许应用程序直接访问两端的内存，完全绕过内核，并将发送和接收4K网络数据包的延迟减少到10微秒. 然后在存储读写中使用SPDK代替libaio. SPDK提供用户模式IO读取和写入，并且在高并发下仍可以保持低延迟. IO路径总体上保持在用户状态，线程轮询用于减少用户状态和内核状态之间的切换，并减少由中断引起的损失. 通过整体软硬件协同设计，极大提高了RSSD云硬盘的性能，并大大减少了延迟.

此外，云磁盘还必须充分考虑数据可靠性和备份. 备份有两个测量因素: RPO和RTO. 进行备份时，它不会影响云磁盘的读写性能，并且操作必须足够简单. 因此，我们推出了数据柜，它通过实施异构解耦来影响源主机，并且运维过程依赖于小型，通过分布式计算和分布式存储技术来确保1TB数据的恢复时间（RTO）磁盘是10-只需不到30分钟即可完成，过去通常需要7-8个小时.

UDB-灵活的服务实践

UCloud的技术总监罗成通过回顾UDB的开发过程和用户​​的变更请求，阐述了UDB演进中的“变化与不变”. 首先，UDB在过去六年中的发展基本上遵循以下路径:

1. 首先，与开源社区保持同步. 2013年，UDB从最流行的开源MySQL开始，并首次启动了MySQL实例. 2014年，它在中国推出了MongoDB云服务，并于2016年推出了PostgreSQL. 从最权威的DB Engine排名来看，UCloud的产品UDB和UMem涵盖了TOP级别的类型.

2. 从产品的角度来看，UDB产品已逐渐从早期的基于资源的交付转变为增值交付. 基于资源的交付可以简单地理解为“我购买的UDB是哪种资源”，包括版本和模型，稳定可靠，高性能，高可用性，安全性，隔离性等. 增值交付可以理解为“带来自己的DBA”. 它是一种通用的面对面场景，可以在使用过程中响应场景的需求，例如灾难恢复，容量扩展，迁移和调整. 从UDB产品开发的角度来看，越来越多的产品正在提供增值功能交付.

3. 从开源到自我研究. 随着自我研究功能的积累和沉淀，2016年，UCloud推出了自我研究分布式UDB（即UDDB），宣布UCloud将在自我研究中取得成果.

UCloud采用高可用性，高性能和高可靠性来满足具有业务优先级但稳定性变得未知的成长型企业的共同痛点和需求，业务弹性但缺乏弹性，规模却无法保持运维效率. 性解决方案. 在高可用性方面，UDB团队使用更简单的VIP + DB双主设备实现漂移，以减少数据链路上的一次性转发，消除潜在的性能瓶颈，并简化控制模块以减少不可控因素. 在高性能方面，UDB是通过动态扩展实现的，例如主从，读写分离，性能等方面都可以线性加速. 罗成透露，在对MySQL进行了最新的性能优化之后，一般情况下，QPS增加到72,700，TPS增加到3.6k，与前一个相比，性能提高了32％. 对于高可靠性，UDB始终保持出色的可伸缩性，这是成长中的企业的最有益的保证.

关于UDB的高性能和高可用性的特定实践，罗成介绍了三种方案. 首先是多合一优化. 用户的业务发展迅速，并且架构具有约束力. 太多的应用程序太快，硬件无法跟上. 解决方案是进行主从升级，以通过多个级联克服连接瓶颈. 并做了微分优化，通过微分自适应调整来保持自适应峰值. 第二个是抢红包，这样通过UDDB的业务高峰运营就不会出现问题，并且QPS超过350,000. 并且还提供第二级差异监视，包括队列，CPU，内存使用情况等. 第三级是618 / Double 11等促销电子商务活动. UDB提供了全面的解决方案，例如自动检查，专用实例区域，自定义的二级监视和差异警报.

公共云IPv6网络登陆的应用

自去年以来，该国为普及IPv6网络技术所做的努力对各行各业提出了许多要求. 以UCloud为例，许多游戏客户将需要访问IPV6，因此UCloud在2018年底推出了NAT64转换产品. 用户可以访问IPv6客户端而无需修改服务. 它已经部署在北京，上海和广州，洛杉矶等海外节点也即将上线. 6月，将启动支持IPv6负载平衡的ULB7，主要用于解决无法获取源地址以及后端可以在不进行修改的情况下引入IPv6流量的问题. 预计在第三季度的第三季度，也将发布本机支持IPv6的VPC产品，为每个子网分配IPv6地址段，并支持自动地址分配和自动创建.

UCloud高级技术总监许亮首先介绍了上述三种IPv6外部网络访问产品解决方案. 这三种方案的IPv6实现原理如下:

1. NAT64模块由3.2T可编程交换机实现，允许自己编写P4语言代码云计算及其分布式架构，以实现带宽控制和基本DDOS IN保护的功能. 同时，攻击流量限制在NAT64 Access上，不会影响后端NAT服务器的稳定性. NAT64通过P41实施一致的哈希负载平衡模块，并将流量灵活地传输到后端. 它还支持会话管理，记录分配给TCP连接的IPv4源地址和源端口号.

2. 支持IPv6的ULB7架构也通过3.2T可编程交换机完成. 带宽控制功能放置在边界路由器UVER 2.0上，并且还实现了覆盖隧道功能. 来自外部网络的Internet通信进入并通过UVER2.0切换后，它将成为覆盖隧道，然后通过Intranet进行传输. 此外，添加了通用ClusterGW模块，它也是3.2T可编程交换机，但使用通用一致性哈希算法，可以将其视为三层负载平衡设备.

3. VPC支持IPv6，但是非常简单. 消息通过UVER传入后，可以直接发送到主机，而无需NAT和其他设备，并且在主机OVS中实现了分布式防火墙. 因此，该架构的整体性能非常高，单个10G / 25G也不存在问题. 另外，所有共享带宽的IP都经过同一可编程交换机，以实现更稳定，更准确的共享带宽控制.

在实现特定的IPv6外部网络访问时，UCloud使用了大量的可编程交换机，与传统的DPDK相比，它具有明显的性能优势. 例如，NAT64的单机性能可以达到25G BPS，6.4M PPS，200,000 CPS和40M并发连接. 另外，UVER2.0的灰度发布是通过SET的3个交换机通过BGP公告实现的，实现1个主备份和2个备份，停止灰度交换机的BGP公告，如果需要升级新版本，请升级旋转直到所有灰度SET都升级到新版本，并同时将某些EIP切换到灰度SET. 在切换期间，迁移EIP的检测结果将保持不变，直到流量全部切换到灰度SET. 这样，可以在不影响用户的情况下顺利升级数据.

“总体而言，在整个IPv6的设计中，要考虑的最关键点是高可用性，即它可以为用户提供稳定可靠的服务，而我们考虑的第二件事是可伸缩性. 使用可编程交换机之后，在性能上已不是问题，”许亮总结道.

Anycast弹性IP-从全球角度看

公共网络加速和安全解决方案

关于Anycast的定义，UCloud产品总监冯业浩介绍: “ Anycast是一组服务器，它们在外部声明相同的IP地址. 当用户访问IP地址时，他们会将流量发送到其中一个服务器节点并成为从客户端的角度来看，Anycast是一个IP地址，但从服务器端来说，它实际上是一组分布在世界各地的服务器. “从全球角度来看，Anycast已逐渐发展成为非常重要的基础架构产品

接下来，冯业浩介绍了UCloud AnycastEIP如何帮助用户实现全局服务加速和DDoS全局分布式清理:

1. 在全球加速方面，UCloud在全球七个边缘节点发布了相应的EIP公告，用户流量可以在附近访问，并且大多数传输路径都由专用Intranet线路承担，这可以减少公共网络的传输过程. 中等的抖动和延迟可以获得明显的加速效果. 与原始的DNS切换方案相比，消除了切换时间，特别适用于需要实时处理的场景，例如全局服务器游戏.

2. 在DDoS分布式清理方面，UCloud通过七个全局边缘节点将攻击流量分为七个部分. 边缘节点分别被清理后，正常流量被传递回源并提供给最近的服务节点，每个节点都具有高达240G的DDoS清理能力. 与传统的单点清洗相比，AnycastEIP形成了团军式的综合清洗方法，返回源的质量也得到了保证.

就网络体系结构而言，AnycastEIP在逻辑上形成具有多个网络元素的多节点全局网络. WBR（WAN边界路由器）构成IBN网络，WER（WAN边缘路由器）构成WBN网络. IBN网络在机房提供出口灾难恢复. 当机房中的ISP发生故障时，所有传出流量将通过IBN发送到周围的节点. 节点将流量合并到其WBR中. WBN在UCloud中提供公共网络加速. 可以通过WBN直接实现任意播相互访问，从而确保低访问延迟. 在设计高可用性时，AnycastEIP具有多个广播点. 如果在输入端口之一上出现问题，则相关的流量将快速收敛到使用BGP协议的其他节点. 同时，AnycastEIP支持多个区域的资源绑定和运行状况检查. 如果运行状况检查发现后端服务节点有问题，它将从服务器中删除，以确保服务的高可用性.

最后，冯业浩补充说，Anycast当前存在两个问题. 一种是次优化问题. 由于公共网络环境极其复杂，Anycast在大多数情况下会带来优化，在少数情况下也可能带来优化. 恶化;另一个问题是单向加速，也就是说，UCloud专用线路进出，而公共网络仍然熄灭，因此只能带来单向加速. 针对这两个问题，AnycastEIP随后将推出两种产品，Global ULB和Global PathX. 通过绑定全局区域中的所有后端节点，无需选择加速区域和加速区域，从而摆脱了地理限制来解决单向加速问题.

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-194852-1.html