远程直接内存访问(RDMA)

RDMA是如何工作的

RDMA通过在网络接口卡中实现传输协议，实现更直接的数据进出服务器(NIC.)硬件。这项技术支持一个叫做零拷贝网络这使得直接从一台计算机的主存储器读取数据和直接将数据写入另一台计算机的主存储器成为可能。

如果发送设备和接收设备都支持RDMA，那么两者之间的对话将比类似的非RDMA网络系统更快地完成。

RDMA已被证明在需要快速和大规模并行高性能计算(HPC)的应用程序中非常有用。簇以及数据中心网络。在分析大数据时，在处理应用程序的超级计算环境中，它特别有用机器学习这需要绝对最低的延迟和最高的传输速率。您还可以发现RDMA用于计算集群中节点之间的连接以及对延迟敏感的数据库工作负载。

支持RDMA的网络协议

聚合以太网上的RDMA。RoCE是一种网络协议，它通过定义RDMA在以太网网络中的运行方式来实现RDMA。

Internet广域RDMA协议。IWARP利用传输控制协议(TCP)或流控制传输协议(SCTP)传输数据。它是由Internet工程任务组开发的，目的是使服务器上的应用程序能够直接读取或写入在另一台服务器上执行的应用程序，而无需任何一台服务器上的操作系统的支持。

InfiniBand.RDMA是高速网络的标准协议InfiniBand网络连接。这种RDMA网络协议通常用于系统间的通信，最初流行于高性能计算环境。由于它能够快速连接大型计算机集群，InfiniBand已经在其他应用中找到了自己的方式，如大数据环境、数据库、高度虚拟化设置和资源需求web应用程序。

支持RDMA的产品和供应商

• Apache Hadoop和Apache Spark大数据分析
• 百度桨（并行分布式深度学习）平台
• Broadcom和Emulex适配器
• Caffe深度学习框架
• Cavium FastLinQ 45000/41000系列以太网NIC
• Ceph对象存储平台
• 基于ChainerMN-Python的深度学习开源框架
• 切尔西终结者5 & 6 iWARP适配器
• Dell EMC PowerEdge服务器
• FreeBSD操作系统
• 从而互联网络文件系统
• 英特尔至强可扩展处理器和平台控制器集线器
• Mellanox ConnectX系列的网络适配器和InfiniBand交换机
• Microsoft Windows Server（2012及更高版本）通过SMB Direct支持支持支持RDMA的网络适配器、Hyper-V虚拟交换机和认知工具包。
• Nutanix即将推出的NX-9030 NVM Express闪存设备据说支持RDMA。
• Nvidia DGX-1深度学习设备
• Oracle Solaris 11及更高版本，用于RDMA之上的NFS
• 红帽
• SUSE Linux Enterprise Server
• TensorFlow机器智能开源软件库
• 火炬科学计算框架
• VMware ESXi

带闪存、SSD和NVDIMM的RDMA

因为所有闪存存储系统的性能都比磁盘或混合阵列快得多，延迟在存储性能下显着减少。因此，传统的软件堆栈开始充当瓶颈，同时增加整体延迟。RDMA是可以逐步降低该延迟的技术之一。

非易失性双列直连存储器模块(NVDIMM)，一种用作存储的内存类型，正在迅速进入数据中心。NVDIMM可以将数据库性能大大提高100倍，并且在虚拟化群集和作为加速虚拟SAN的一种手段时将被证明特别有益。但要充分利用NVDIMM，在数据完整性和性能方面在服务器之间或整个虚拟集群中传输数据时，您必须使用尽可能快的网络。聚合以太网上的RDMA允许数据在NVDIMM模块之间直接移动，系统开销小，延迟低，符合要求。

RDMA over fabric和未来发展方向

RDMA over Fabrics是现有共享存储体系结构的逻辑演进，它提高了对共享数据的性能访问，从而受益于固态和闪存。在这里，RDMA网络使用RoCE、iWARP或InfiniBand等协议，通过接口在内存地址空间之间发送数据，加速操作，增加应用程序、服务器和存储投资的价值。第6代的光纤通道存储网络——每秒32千兆比特——和PCI Express支持RDMA over fabric接口。

有朝一日，RDMA存储技术可能会用于扩展文件系统、扩展分布式SAN或其他应用程序。

RDMA和Fibre Channel是NVM Express支持的fabric传输(NVMe)规范发表于2016年6月5日。该规范在距离上扩展了NVMe技术的优点。随着NVMe-oF站稳脚跟，RDMA也将成为在这些环境中传输数据的一种方式。

具有以太网近年来性能激增，随着软件定义的网络时代和我们的融合，从长远来看，RoCE可能会让以太网比InfiniBand更有优势。