GPU直连存储，让GPU直接连到NVMe存储设备上

Nvidia最近发布了一个新的GPUDirect存储，暂时称为GPU Direct存储，允许GPU直接连接到NVMe存储设备。该解决方案使用RDMA设备将数据从闪存存储传输到GPU本地内存，而无需通过CPU和系统内存。

如果这一举措进展顺利，NVIDIA将能够摆脱对CPU的依赖，开辟一个新的领域，新市场，例如数据科学和机器学习市场，这一市场将创造20至250亿美元的收入。每年的服务器数量市场规模与HPC和深度学习市场的总和相同。

Nvidia极力将事情放在GPU中。去年10月，Nvidia发布了RAPIDS，这是一个开放源代码工具库，可以帮助人们使用GPU进行分析和机器学习。 RAPIDS可以为诸如Apache Arrow和Spark之类的数据科学工具提供GPU加速，并将GPU置于大数据企业应用程序的生态环境中。该字段仍基于基于CPU的Hadoop和Mapreduce解决方案。

RAPIDS涵盖了机器学习的所有方面，包括有监督和无监督的机器学习，以及各种数据处理方面，但是这种方法也引起了一些怀疑。

GPU现在越来越大，连接性也越来越好。从应用程序的角度来看，GPU也非常通用。同时，数据分析越来越多，机器学习通常集成到工作流中。结果，将有越来越多的应用程序对TB级的数据执行peta计算。

要做到这一点，必须具有良好的可伸缩性。可以通过NVLink和NVSwitch等技术连接多个GPU，以形成一个巨大的。这项技术最初是为DGX架构设计的，该架构主要是为了解决更大，更复杂的神经网络训练问题。英伟达（NVIDIA）将GPU计算能力用于大数据的想法是合理的，但它缺乏快速的数据存储路径。

通常，在GPU加速系统中，所有IO操作都将首先通过主机端，也就是说，数据需要在到达GPU之前通过CPU指令传输到主机存储器。 CPU通常通过“反弹缓冲区”。为了实现数据传输，“反弹缓冲区”是系统内存中的一个区域，在将数据副本传输到GPU之前，在其中保存该副本。显然，这种传输将导致额外的延迟和内存消耗，降低GPU上运行的应用程序的性能，并占用CPU资源。这是GPUDirect Storage想要解决的问题。

Nvidia表示，这项技术可以将IO带宽增加50％，并且延迟可以减少8倍3.。如果使用NVeoF技术，则可以将GPU连接到PB级存储资源池。而且，Nvidia声称数据访问的效率比内存页面缓存的速度要快。

Nvidia表示，如果您的DGX-2系统在主机侧具有16个GPU和1. 5TB内存，则GPUDirect Storage的吞吐量带宽可以增加8倍（相比之下，原始DGX-2系统没有支持GPUDirect存储）。这是因为DGX-2的吞吐量带宽可以达到200GB / s左右，而最初对主机端内存的依赖高达50GB / s。

额外的150GB / s传输速度将大大改善数据分析工作量。对于深度学习等文件密集型应用程序，它还将为传统的HPC带来巨大变化。

Nvidia的方法允许GPU直接连接到存储并直接获取原始数据，这意味着GPU还可以解压缩和解码文件，从而释放CPU。目前，GPUDirect Storage支持各种常见的文件格式进行操作。

GPUDirect存储解决方案使用两种高端技术，一种是RDMA，另一种是NVMe（NVMe-oF）。其中，RDMA封装在GPUDirect协议中，并且依赖于各种网络适配器（例如Mellanox NIC）。您可以访问远程存储和本地存储设备。

当前，GPUDirect Storage仅向少数合作伙伴提供，并且beta版有望在今年10月发布。

译者认为，这是英伟达与英特尔竞争的又一重大举措，可以看作是对英特尔重新进入GPU市场的回应。

从理论上讲，绕过CPU并开放一个新的生态系统是可行的，并且确实存在明显的需求场景。它最终能否在市场上实现取决于程序构建的级别，包括程序的易用性，稳定性和场景的优化级别，当然，最重要的是不要对现有的程序进行太多更改软件架构，并控制用户的使用和获取成本。

原始链接

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/shoujiruanjian/article-359126-1.html