RDMA介绍

RDMA(Remote Direct Memory Access)技术全称远程直接数据存取，就是为了解决网络传输中服务器端数据处理的延迟而产生的。RDMA通过网络把资料直接传入计算机的存储区，将数据从一个系统快速移动到远程系统存储器中，而不对操作系统造成任何影响，这样就不需要用到多少计算机的处理功能。它消除了外部存储器复制和上下文切换的开销，因而能解放内存带宽和CPU周期用于改进应用系统性能。

RDMA的理解

传统意义上的DMA

直接内存访问(DMA) 方式，是一种完全由硬件执行I/O交换的工作方式.在这种方式中， DMA 控制器从CPU 完全接管对总线的控制，数据交换不经过CPU ，而直接在内存和IO设备之间进行.DMA工作时，由DMA 控制器向内存发出地址和控制信号，进行地址修改，对传送字的个数计数，并且以中断方式向CPU 报告传送操作的结束。

使用DMA 方式的目的是减少大批量数据传输时CPU 的开销.采用专用DMA 控制器(DMAC) 生成访存地址并控制访存过程.优点有操作均由硬件电路实现，传输速度快;CPU 基本不干预，仅在初始化和结束时参与，CPU与外设并行工作，效率高。

RDMA工作原理

普通网卡集成了支持硬件校验和的功能，并对软件进行了改进，从而减少了发送数据的拷贝量，但无法减少接收数据的拷贝量，而这部分拷贝量要占用CPU 的大量计算周期.普通网卡的工作过程如下:先把收到的数据包缓存到系统上，数据包经过处理后，相应数据被分配到一个TCP 连接;然后，接收系统再把主动提供的TCP 数据同相应的应用程序联系起来，并将数据从系统缓冲区拷贝到目标存储地址.这样，制约网络速率的因素就出现了:应用通信强度不断增加和主机CPU 在内核与应用存储器间处理数据的任务繁重使系统要不断追加主机CPU 资源，配置高效的软件并增强系统负荷管理.问题的关键是要消除主机CPU 中不必要的频繁数据传输，减少系统间的信息延迟。

RDMA 是通过网络把资料直接传入计算机的存储区，将数据从一个系统快速移动到远程系统存储器中，而不对操作系统造成任何影响，这样就不需要用到多少计算机的处理功能.它消除了外部存储器复制和文本交换操作，因而能腾出总线空间和CPU 周期用于改进应用系统性能. 通用的做法需由系统先对传入的信息进行分析与标记，然后再存储到正确的区域.整体结构如图所示。

RDMA 的工作过程如下:

1)当一个应用执行RDMA 读或写请求时，不执行任何数据复制.在不需要任何内核内存参与的条件下， RDMA 请求从运行在用户空间中的应用中发送到本地NIC( 网卡)。

2) NIC 读取缓冲的内容，并通过网络传送到远程NIC。

3) 在网络上传输的RDMA 信息包含目标虚拟地址、内存钥匙和数据本身.请求完成既可以完全在用户空间中处理(通过轮询用户级完成排列) ，或者在应用一直睡眠到请求完成时的情况下通过内核内存处理.RDMA 操作使应用可以从一个远程应用的内存中读数据或向这个内存写数据。

4) 目标NIC 确认内存钥匙，直接将数据写入应用缓存中.用于操作的远程虚拟内存地址包含在RDMA 信息中。

• 3.RDMA中零拷贝技术

零拷贝网络技术使NIC 可以直接与应用内存相互传输数据，从而消除了在应用内存与内核内存之间复制数据的需要.内核内存旁路使应用无需执行内核内存调用就可向NIC 发送命令.在不需要任何内核内存参与的条件下， RDMA 请求从用户空间发送到本地NIC，并通过网络发送给远程NIC ，这就减少了在处理网络传输流时内核内存空间与用户空间之间环境切换的次数.RDMA 中的零拷贝技术主要实现方法如图所示。

在上图中，右边是传统TCP/IP 协议以及普通网卡进行的通信操作过程.很明显，当应用层想从网卡获得数据报文时需要经过2 个缓冲区和正常TCP/IP 协议栈，其中由软中断负责从第一个接收队列缓冲区读取数据报文，再拷贝到MSGBuff 中，最后由应用层通过系统调用将数据报文读到用户态.而左边则是利用RDMA来实现的零拷贝过程，规则如下:

1) RDMA 及其LLP( Lower Layer Protocol)可以在NIC 上实现(称为RNIC)。

2) 在1)中所说的2 种实现都是经过以下步骤:将收发的数据缓存到一个已经标记好的存储空间中，然后根据LLP 和RDMA 双方协商的规则直接将此存储空间映射到应用空间，这样就减少了传统实现方法中的至少2次内存拷贝，即实现零拷贝.其中细线表示数据流动方向，其实标记缓存就是通过RDMA 直接映射成为用户缓存空间的。