谈论高性能RDMA网络的优势和实践

随着数据的爆炸性增长，各个领域对计算机硬件的处理能力提出了更高的要求. 与CPU，GPU等计算设备的飞速发展相比，传统以太网领域的发展明显滞后，逐渐成为性能瓶颈. 许多产品线希望通过使用更高带宽和更低延迟的网络来提高网络性能和业务能力.

对于前线攻城师，他们经常有这种感觉

为什么发送数据需要这么长时间？为什么具有这种计算能力的服务器总是等待很长时间才能完成网络传输？为什么互联网公然阻止？

您想每分钟更改一次吗？

本文将介绍RDMA高性能网络，分析性能优势，介绍机器学习领域的成功实践，并期待下一步. 注意: 本文主要介绍RDMA技术的背景，应用场景和案例. 有关RDMA深度技术的原理，请参阅文章“”.

什么是RDMA高性能网络

对于计算机网络，我相信OSI七层模型，HTTP，TCP和IP关键字将立即出现在您的脑海中. 但是本文介绍了另一种网络: RDMA（远程直接内存访问）.

首先，引入DMA作为在主机的内存和外部设备之间传输数据的一种方式. 系统将内存映射到虚拟地址和物理地址后，它将数据传输的控制权转移到外部设备的DMA控制权. 设备，然后所有数据传输操作都由外部设备执行. 这样可以带来很大的好处就是节省CPU资源.

所谓的RDMA可以简单理解为使用相关的硬件和网络技术，服务器1的网卡可以直接读写另一台服务器2的内存，最终达到高带宽，低带宽的效果. 延迟和低资源利用率. 如下图所示，应用程序无需参与数据传输过程. 只需指定内存的读写地址，开始传输并等待传输完成即可.

为了便于大家更好地理解，作者绘制了一个简单的图来比较RDMA与传统TCP / IP网络之间的数据路径，以便在服务器上发送数据. 可以看出，RDMA的性能优势主要体现在以下几个方面.

零拷贝: 减少数据拷贝数. 由于没有将数据复制到内核状态并处理数据包头的过程，因此传输延迟将大大减少.

内核绕过和协议卸载: 不需要内核参与. 数据路径中没有繁琐的标头处理逻辑，不仅减少了延迟，而且大大节省了CPU资源.

近年来尚未提出RDMA. 实际上，最早实现RDMA的网络协议Infiniband已被应用于高性能计算. 但是，Infinband与传统的TCP / IP网络有很大的不同. 它需要专用的硬件设备，价格昂贵，并且会大大增加运维成本.

那么，有没有适合传统数据中心的RDMA网络？

目前，支持以太网的RDMA协议主要是RoCE（聚合以太网上的RDMA）和iWARP（Internet广域RDMA协议）. 在对性能和可用性进行了各种调查之后，系统系的学生终于介绍了RoCE网络. RoCE和Infiniband的性能基本相似，并且生态系统比iWARP行业更强大，并且主流网卡制造商已经支持了它.

此外，RoCE网络在数据链路层支持标准以太网协议，在网络层支持IP协议，因此可以无缝集成到现有IDC环境中，并且易于部署；标准的以太网和IP协议更便于操作和维护，设备成本更低.

为什么高性能网络如此重要

这么多话，有些学生可能会问，性能可以提高多少？在现有的硬件条件下能否立即获得结果？

为了便于大家快速理解，作者绘制了以下图片，以图像说明数据.

就系统结构而言，网络在磁盘性能之上，在主存储器性能之上. 如下图所示，服务器内存的增加减少了计算过程中的存储压力，因此网络在很大程度上已成为性能瓶颈. 与10 Gb以太网相比，高性能网络的带宽提高了一个数量级，小数据包的传输延迟增加了1-2个数量级.

如何使用高性能网络

那么高性能网络有多容易？是否可以通过直接更改硬件来使用该程序？这次我只能给现实一个负面的能量: 大多数现有程序都需要移植.

为什么不呢？有解决办法吗？

RDMA在传统的TCP / IP网络上已大大提高了性能，但它不如TCP / IP那样方便. 当前，在高性能计算中使用最广泛的方法是MPI（消息传递接口）. 这种方法可以很好地控制与机器学习相关的应用程序，但是由于其自身的局限性，因此在许多其他企业中效果不佳. 采用. 为了更好地在公司的机器学习业务中使用，系统系的学生和深度学习实验室的学生开发了类似于Socket的编程接口. 在提高性能的同时，大大降低了将程序移植到RDMA网络上的难度.

RDMA在百度中的使用

我相信有些学生已经渴望在这里看到它. 当然，作为在国内最重视技术的互联网公司，我的同学们不会放过这项新技术，一定会使用它进行消化，然后再将其用于我.

该公司于2014年左右开始引入RDMA网络，并已部署lnfinband集群和RoCEv1集群. 2015年，百度分别在SZWG计算机室和YQ01计算机室中部署了RoCEv2集群，以承载与深度学习，语音识别和自然语言处理相关的机器学习任务. 目前，RDMA群集的整体大小约为600，这是中国最大的RoCEv2网络.

与传统的TCP / IP网络相比，RDMA具有高带宽，低延迟和低CPU使用率. 它赢得了机器学习任务的青睐. 其中，以OpenMPI为基本库的语音识别训练和NLP机器翻译，与10GTCP网络相比，40G RDMA通信性能提高了一个数量级. 桨图像训练使用类似套接字的库高性能计算机房辐射，并且还具有良好的性能优势. 为了更直观地理解，对于OpenMPI BenchMark，与10GTCP相比，40GRDMA可以加快1-2个数量级.

在其他领域中使用RDMA的前景

除了机器学习，RDMA网络还能在其他领域取得良好的成绩吗？

目前，系统系的学生正在积极研究RDMA网络在其他领域的使用，包括以下方面.

1. 加速存储系统和计算系统，充分利用高带宽和低延迟，并释放CPU通信处理.

目前，行业中许多公司已经开始探索RDMA在存储中的应用，包括iSCSI，SamBa，NVMe高性能计算机房辐射，Hadoop等. 系统部门的学生还将探索公司各种业务的存储需求.

2. 它加快了GPU异构计算通信的速度，充分利用了零拷贝的特性，减少了数据路径中的拷贝数，并大大减少了GPU之间的传输延迟.

GDR自2014年以来一直在跟进，由于相关的技术原因，它尚未应用于实际业务. 随着这些技术问题的不断解决，该技术正在逐渐成熟. 根据最新的测试结果，OpenMPI + GDR方法可以大大减少GPU在节点之间的传输延迟，并且传输带宽也可以达到速度极限. 相信它将很快加快实际应用中的异构计算.

3. RDMA网络和传统数据中心的完美融合，加快了基本服务的速度.

将来，它将逐步扩展到公司的各种业务，以加速各种基本网络服务. 当然，系统系的研发学生还将为各种业务服务提供更方便的网络接口.

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-153981-1.html