DPU驱动开发

代码在线跑，知识轻松学

Python精品学习库

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

博客搬家 | 分享价值百万资源包

往期视频·干货材料·成员作品 最新动态

技术创作特训营·精选知识专栏

新邀入驻腾讯云开发者社区，福利多多！

如何运用「云、端融合的数智化安全体系」高效护航数据安全

左手AI，右手安全 —— 一汽丰田数字化转型之路

随着互联网, 人工智能等兴起, 跨机通信对带宽和时延都提出了更高的要求, RDMA技术也不断迭代演进, 如: RoCE(RDMA融合以太网)协议, 从RoCEv1 -> RoCEv2, 以及IB协议, Mellanox的RDMA网卡cx4, cx5, cx6/cx6DX, cx7等, 本文主要基于CX5和CX6DX对RoCE技术进行简介, 一文入门RDMA和RoCE有损及无损关键技术

Nvidia_Mellanox_CX5和6DX系列网卡_RDMA_RoCE_无损和有损_DCQCN拥塞控制_动态连接等详解-一文入门RDMA和RoCE有损无损

用户空间直接访问 (UDA) 旨在以通用方式提供用户空间访问队列，但 E810 不支持此功能。 UDA 仅在内核中可用，并且仅限于 iWARP 连接设置和错误处理。 UDA 在用户空间中不可用

Intel E810-iRDMA网卡-Linux内核驱动和用户态源码分析

RDMA CM 是一种通信管理器，用于设置可靠、连接和不可靠的数据报数据传输。 它提供用于建立连接的 RDMA 传输中立接口。 API 概念基于套接字，但适用于基于队列对 (QP) 的语义：通信必须通过特定的 RDMA 设备进行，并且数据传输基于消息。 RDMA CM 可以控制 RDMA API 的 QP 和通信管理（连接建立/拆除）部分，或者仅控制通信管理部分。 它与 libibverbs 库定义的 verbs API 结合使用。 libibverbs 库提供了发送和接收数据所需的底层接口。 RDMA CM 可以异步或同步操作。 用户通过在特定调用中使用 rdma_cm 事件通道参数来控制操作模式。 如果提供了事件通道，rdma_cm 标识符将报告该通道上的事件数据（例如连接结果）。 如果未提供通道，则所选 rdma_cm 标识符的所有 rdma_cm 操作将被阻止，直到完成。 RDMA CM 为不同的 libibverbs 提供商提供了一个选项来宣传和使用特定于该提供商的各种 QP 配置选项。 此功能称为 ECE（增强连接建立）

Linux源码分析-RDMA的通信连接管理CM模块

上文: UEC规范v1.0 - 1.简介_整体架构_软硬件分层(https://cloud.tencent.com/developer/article/2530955)

UEC规范v1.0 - 2.软件层_整体架构_UE与libfabricAPI映射关系详解

上文: https://cloud.tencent.com/developer/article/2531046

libfabric_ofa_简介_指南_设计思想_高性能网络5

上文: https://cloud.tencent.com/developer/article/2531005

libfabric_ofa_简介_指南_设计思想_高性能网络4

上文: https://cloud.tencent.com/developer/article/2531004

libfabric_ofa_简介_指南_设计思想_高性能网络3

上文: libfabric_ofa_简介_指南_设计思想_高性能网络1: https://cloud.tencent.com/developer/article/2531002

libfabric_ofa_简介_指南_设计思想_高性能网络2

开发指南(设计思想): https://github.com/ofiwg/ofi-guide/blob/master/OFIGuide.md

libfabric_ofa_简介_指南_设计思想_高性能网络1

超级以太网联盟™ (UEC) 是一个基于共识的标准组织，隶属于 Linux 基金会。其成员公开合作，致力于定义和推广适用于现代计算环境的高性能以太网技术。本规范（简称“规范”）包含 UEC 的已批准交付成果，该术语的定义见 UEC 章程。本文档遵循知识共享署名-禁止演绎 4.0 国际许可 (CC BY-ND 4.0)。根据许可协议规定，您可以复制和重新分发本文档，但必须注明署名超级以太网联盟。但是，如果您基于该材料创作衍生作品，则不得分发该作品。许可协议副本可在 https://creativecommons.org/licenses/by-nd/4.0/ 获取。本规范按“原样”提供。 UEC 和 Linux 基金会（以下简称“双方”）不作任何明示或暗示的保证，包括但不限于适销性、适用于特定用途、不侵犯任何第三方知识产权或遵守适用法律的保证。使用本规范中的信息风险自负。本规范的结果和性能的全部风险由用户承担。在任何情况下，双方（定义如上所述）均不对任何其他方因与本规范或其管辖文件相关的任何诉讼原因而造成的利润损失或任何形式的间接、特殊、偶然或后果性损害承担责任，无论该等损害是基于违约、侵权（包括疏忽）或其他原因，也无论本规范的接收者是否已被告知存在此类损害的可能性。本规范可能包含对可能被主张专利权的技术的引用。UEC 不对任何此类权利的存在或状态作出任何陈述。本规范的实施者应全权负责从适当的权利持有人处获取任何必要的许可或授权。 UEC 保留根据其认为必要或适当的情况对本规范进行任何更改或修改的权利。UltraEthernet™ 和 UltraEthernetConsortium™ 是 UltraEthernetConsortium 在美国和其他国家/地区的未注册商标。保留所有权利。有关 UltraEthernetConsortium 的更多信息，请访问：https://ultraethernet.org

UEC规范v1.0 - 1.简介_整体架构_软硬件分层

IBA 定义了两种不可靠服务：不可靠连接UC（SEND、RDMA WRITE）和不可靠数据报UD（仅限 SEND）。这些服务具有以下特点：

RDMA - IB规范卷1 - 传输层3_不可靠服务

接上篇(RDMA - IB规范卷1 - 传输层2(可靠服务)): https://cloud.tencent.com/developer/article/2516318

RDMA - IB规范卷1 - 传输层2(可靠服务-可靠数据报)

接上文: RDMA - IB规范卷1 - 传输层(概述-基本传输头-扩展头-功能-保序-包头校验), https://cloud.tencent.com/developer/article/2513460

RDMA - IB规范卷1 - 传输层2(可靠服务)

每个 IBA 数据包都包含一个传输头。传输头包含端节点完成指定操作所需的信息，例如，将数据有效载荷传送到端节点内的相应实体(线程或 IO 控制器)。本章定义了 IBA 使用的传输服务。IBA 通道适配器的客户端通过操作由发送工作队列和接收工作队列组成的“队列对”（QP）与传输层通信。对于主机平台，传输层的客户端是 Verbs 软件层。客户端将缓冲区或命令发布到这些队列，硬件则从缓冲区传输数据或将数据传入缓冲区。在本章中，发起操作（即将消息注入到结构中的 QP）称为请求方，接收消息的 QP 称为响应方。创建 QP 时，它会与五种 IBA 传输服务类型之一或非 IBA 协议封装服务相关联。传输服务描述了 QP 的可靠性程度以及传输数据的目标对象和方式。

RDMA - IB规范卷1 - 传输层(概述-基本传输头-扩展头-功能-保序-包头校验)

https://hpcadvisorycouncil.atlassian.net/wiki/spaces/HPCWORKS/pages/2791440385/GPUDirect+Benchmarking

RDMA - GDR GPU Direct RDMA快速入门2

NVIDIA GPUDirect 是一系列技术, 用于增强 GPU间(P2P)或GPU与第三方设备(RDMA)间的数据移动和访问, 无论您是在探索海量数据、研究科学问题、训练神经网络还是为金融市场建模，您都需要一个具有最高数据吞吐量的计算平台。GPU 的数据处理速度比 CPU 快得多，随着 GPU 计算能力的提高，对 IO 带宽的需求也随之增加。NVIDIA GPUDirect®是Magnum IO的一部分，可增强 NVIDIA 数据中心 GPU 的数据移动和访问。使用 GPUDirect，网络适配器和存储驱动器可以直接读取和写入 GPU 内存，从而消除不必要的内存复制、减少 CPU 开销和延迟，从而显着提高性能。这些技术（包括 GPUDirect Storage(GDS)、GPUDirect RDMA(GDR)、GPUDirect 点对点 (P2P) 和 GPUDirect Video）通过一套全面的 API 呈现

RDMA - GDR GPU Direct RDMA快速入门1

高性能计算(HPC) 是使用多组尖端计算机系统执行标准商用计算系统无法实现的复杂模拟、计算和数据分析的艺术和科学。

一文入门高性能计算HPC-详解1

接上文: https://cloud.tencent.com/developer/article/2472554

Intel E810/ICE DPU RDMA 及MLX中断原理分析2(CE/AE)

HCA 有多个可生成事件的源（完成事件、异步事件/错误）。一旦内部生成事件，就可以通过事件队列机制将其报告给主机软件。EQ 是一个驻留在内存中的循环缓冲区，硬件使用它来写入事件原因信息，供主机软件使用。一旦启用事件报告，事件发生时硬件就会将事件原因信息写入 EQ。如果 EQ 已启用(armed)，则 HW 随后将按照 EQ 中的配置在设备接口上生成中断（发送 MSI-X 消息或断言引脚(assert the pin)）。每个 HCA EQ 都可以与主机上的不同事件处理程序相关联。每个事件组都可以配置为向其中一个 EQ 报告事件，从而实现将事件硬件解复用(demultiplexing)到不同的事件处理程序。具体而言，可以根据报告事件的 CQ 将完成报告报告给不同的 EQ。在虚拟环境中，EQ 可以导出到客户虚拟机，客户虚拟机中的内核驱动程序将控制 EQ。HCA HW 强制执行 EQ 之间的保护和隔离。 SW 可以使用 GEN_EQE 命令创建新的 EQE。

RDMA-驱动-NVIDIA MLX 事件和中断软硬件交互流程

CE和AE一般与中断关联, 通过中断上报处理CE和AE, 这样可以降低CPU使用率(相对忙轮询(ibv_poll_cq)), 异步事件在非IO线程上处理事件, 正常情况下不影响IO路径

RDMA 完成事件和异步事件_CE_AE

文章

问答

视频

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

腾讯云开发者社区推出了DPU专栏，为你提供了DPU的相关文章，致力于帮助开发者快速成长与发展。

DPU

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐