腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
DPU
AI算力,网络,存储等加速, 卸载, 隔离, 欢迎对DPU/智能网卡/卸载/网络,存储加速/安全隔离等技术感兴趣的朋友加入DPU技术交流群
专栏成员
举报
40
文章
28404
阅读量
23
订阅数
订阅专栏
申请加入专栏
全部文章(40)
高性能(31)
网络(29)
云计算(27)
通信(14)
人工智能(13)
网络通信(11)
存储(8)
aigc(8)
linux(6)
hpc(6)
rpc(5)
gpu(5)
内核(5)
高性能计算(4)
network(3)
网络协议(3)
kernel(1)
虚拟化(1)
memory(1)
nvidia(1)
操作系统(1)
计算机网络(1)
内存(1)
协议(1)
硬件(1)
内存映射(1)
设备驱动程序(1)
搜索文章
搜索
搜索
关闭
Nvidia_Mellanox_CX5和6DX系列网卡_RDMA_RoCE_无损和有损_DCQCN拥塞控制_动态连接等详解-一文入门RDMA和RoCE有损无损
linux
存储
network
高性能
网络
随着互联网, 人工智能等兴起, 跨机通信对带宽和时延都提出了更高的要求, RDMA技术也不断迭代演进, 如: RoCE(RDMA融合以太网)协议, 从RoCEv1 -> RoCEv2, 以及IB协议, Mellanox的RDMA网卡cx4, cx5, cx6/cx6DX, cx7等, 本文主要基于CX5和CX6DX对RoCE技术进行简介, 一文入门RDMA和RoCE有损及无损关键技术
晓兵
2023-07-23
6.1K
3
置顶
Intel E810-iRDMA网卡-Linux内核驱动和用户态源码分析
linux
高性能
内核
用户空间直接访问 (UDA) 旨在以通用方式提供用户空间访问队列,但 E810 不支持此功能。 UDA 仅在内核中可用,并且仅限于 iWARP 连接设置和错误处理。 UDA 在用户空间中不可用
晓兵
2024-04-25
436
0
置顶
Linux源码分析-RDMA的通信连接管理CM模块
云计算
高性能
网络通信
RDMA CM 是一种通信管理器,用于设置可靠、连接和不可靠的数据报数据传输。 它提供用于建立连接的 RDMA 传输中立接口。 API 概念基于套接字,但适用于基于队列对 (QP) 的语义:通信必须通过特定的 RDMA 设备进行,并且数据传输基于消息。 RDMA CM 可以控制 RDMA API 的 QP 和通信管理(连接建立/拆除)部分,或者仅控制通信管理部分。 它与 libibverbs 库定义的 verbs API 结合使用。 libibverbs 库提供了发送和接收数据所需的底层接口。 RDMA CM 可以异步或同步操作。 用户通过在特定调用中使用 rdma_cm 事件通道参数来控制操作模式。 如果提供了事件通道,rdma_cm 标识符将报告该通道上的事件数据(例如连接结果)。 如果未提供通道,则所选 rdma_cm 标识符的所有 rdma_cm 操作将被阻止,直到完成。 RDMA CM 为不同的 libibverbs 提供商提供了一个选项来宣传和使用特定于该提供商的各种 QP 配置选项。 此功能称为 ECE(增强连接建立)
晓兵
2024-04-27
249
0
置顶
RDMA - inline 内联提高小包性能-降低时延(减少两个 PCIe 往返延迟)
网络通信
网络协议
高性能
通信
网络
这篇文章描述了通过 PCI Express 结构在 CPU 和 NIC 之间发生的一系列协调事件,以通过 InfiniBand 互连传输消息并发出其完成信号。
晓兵
2024-06-16
242
0
RDMA - ODP按需分页设计原理-优点-源码浅析
高性能
网络协议
云计算
HMM: 异构内存管理(Heterogeneous Memory Management)
晓兵
2024-06-14
156
0
MPI消息传递接口协议和硬件卸载
通信
网络
人工智能
云计算
高性能
MPI 提供了三种不同的通信方法,MPI 进程可以使用这些方法相互通信。下面讨论了这些通信方法:
晓兵
2024-05-29
199
0
RDMA Infiniband - IB通信管理-子网管理(SM)和子网代理(SMA)
hpc
高性能
通信
网络
网络通信
通信管理包含用于建立、维护和释放 IB 可靠连接、不可靠连接和可靠数据报传输服务类型的通道的协议和机制。 服务 ID 解析协议(参见第 12.11 节)使不可靠数据报服务的用户能够找到支持其所需服务的队列对。 通过本文描述的协议,在每个系统上的通信管理器(CM)之间通过除了用于连接的队列对之外的队列对来管理连接。 (参见图 131)CM 使用管理数据报 (MAD) 进行通信,通常通过每个系统上的通用服务接口 (GSI)
晓兵
2024-05-25
337
0
Nvidia-IB 路由器架构和功能-RDMA子网-GID-LID
通信
网络
网络通信
网络协议
高性能
InfiniBand (IB) 路由器旨在用于将非常大的网络分段(segment), 分为由 IB 路由器连接的较小子网(subnets)。 分段对于将某些子网彼此隔离或构建非常大的网络可能很有用。 这篇文章讨论 IB 路由器架构和功能
晓兵
2024-05-17
417
0
VFIO简介-Linux内核源码分析-模块加载-IOCTL接口-DPDK使用VFIO
虚拟化
kernel
云计算
VFIO(Versatile Framework for userspace I/O) : 用户空间 I/O 的多功能框架
晓兵
2024-05-12
319
0
RecoNIC 入门:SmartNIC 上支持 RDMA 的计算卸载-FPGA-智能网卡-AMD-Xilinx
人工智能
云计算
高性能
通信
网络
当今的数据中心由数千台网络连接的主机组成,每台主机都配有 CPU 和 GPU 和 FPGA 等加速器。 这些主机还包含以 100Gb/s 或更高速度运行的网络接口卡 (NIC),用于相互通信。 我们提出了 RecoNIC,这是一种基于 FPGA、支持 RDMA 的 SmartNIC 平台,旨在通过使网络数据尽可能接近计算来加速计算,同时最大限度地减少与数据副本(在以 CPU 为中心的加速器系统中)相关的开销。 由于 RDMA 是用于改善数据中心工作负载通信的事实上的传输层协议,因此 RecoNIC 包含一个用于高吞吐量和低延迟数据传输的 RDMA 卸载引擎。 开发人员可以在 RecoNIC 的可编程计算模块中灵活地使用 RTL、HLS 或 Vitis Networking P4 来设计加速器。 这些计算块可以通过 RDMA 卸载引擎访问主机内存以及远程对等点中的内存。 此外,RDMA 卸载引擎由主机和计算块共享,这使得 RecoNIC 成为一个非常灵活的平台。 最后,我们为研究社区开源了 RecoNIC,以便能够对基于 RDMA 的应用程序和用例进行实验
晓兵
2024-05-04
544
0
使用 DPDK 和 GPUdev 在 GPUs上增强内联数据包处理
人工智能
云计算
gpu
高性能
网络
使用 GPU 进行网络数据包内联处理是一种数据包分析技术,可用于许多不同的应用领域:信号处理、网络安全、信息收集、输入重建等。
晓兵
2024-05-03
188
0
RDMA-Linux-infiniband-RDMA子系统-源码分析-IB架构-IB设备初始化和注册-内核uverbs接口注册-GID缓存机制
云计算
通信
网络
该驱动程序通过 Linux 网络堆栈实现 InfiniBand RDMA 传输。 它使具有标准以太网适配器的系统能够与 RoCE 适配器或运行 RXE 驱动程序的另一个系统进行互操作。 有关 InfiniBand 和 RoCE 的文档可以从 www.infinibandta.org 和 www.openfabrics.org 下载。 (另请参见 siw,它是 iWARP 的类似软件驱动程序。)该驱动程序分为两层,一层与 Linux RDMA 堆栈接口,并实现内核或用户空间动词 API。 用户空间动词 API 需要一个名为 librxe 的支持库,该支持库由通用用户空间动词 API libibverbs 加载。 另一层与第 3 层的 Linux 网络堆栈接口。要配置和使用 soft-RoCE 驱动程序,请使用“配置 Soft-RoCE (RXE)”部分下的以下 wiki 页面:https://github.com/linux-rdma/rdma-core/blob/master/Documentation/rxe.md
晓兵
2024-04-19
504
0
Linux RDMA RXE/SoftRoCE 软件RoCE-内核驱动源码
通信
网络
网络通信
linux
高性能
rdma_rxe 内核模块提供 RoCEv2 协议的软件实现。 RoCEv2 协议是存在于 UDP/IPv4 或 UDP/IPv6 之上的 RDMA 传输协议。 InfiniBand (IB) 基本传输标头 (BTH) 封装在 UDP 数据包中。 创建 RXE 实例后,通过 RXE 进行通信与通过任何 OFED 兼容的 Infiniband HCA 进行通信相同,尽管在某些情况下会涉及寻址问题。 特别是,虽然 GRH 标头的使用在 IB 子网中是可选的,但对于 RoCE 来说是强制性的。 基于 IB 动词编写的动词应用程序应该可以无缝工作,但它们需要在创建地址向量时提供 GRH 信息。 修改库和驱动程序以提供硬件所需的从 GID 到 MAC 地址的映射
晓兵
2024-04-10
646
0
NvidiaMellanoxOFED驱动解决方案
云计算
高性能
网络通信
设备驱动程序
人工智能
HowTo Install MLNX_OFED Driver 如何安装MLNX_OFED驱动
晓兵
2024-04-04
347
0
Nvidia DOCA - 芯片上的数据中心软硬件架构简介
云计算
高性能
通信
网络
人工智能
DOCA: Data Center-on-a-Chip Architecture, 芯片上的数据中心架构
晓兵
2024-03-31
308
0
RDMA_verbs详解-ibv_reg_mr(注册内存)源码分析
网络通信
人工智能
高性能计算
hpc
高性能
博客: https://cloud.tencent.com/developer/user/5060293/articles | https://logread.cn | https://blog.csdn.net/ssbandjl | https://www.zhihu.com/people/ssbandjl/posts
晓兵
2024-03-23
525
0
DPDK巨页地址管理/Linux内核内存管理/内存映射/pagemap/rdma内存/注册
通信
网络
操作系统
内存
内核
PBLE: Physical Buffer List Entry 物理缓冲区列表条目
晓兵
2024-03-12
394
0
RDMA_verbs编程详解-cm建连-rdma_connect
通信
网络
云计算
高性能
【infiniband】 MAD、 uMAD、Verbs、RDMACM: https://blog.csdn.net/eidolon_foot/article/details/132840943
晓兵
2024-03-12
541
0
RDMA_verbs详解-修改队列对属性(ibv_modify_qp)-ceph-ucx-nccl-intel rdma驱动源码解析
网络
人工智能
云计算
高性能
通信
QP上可变化的属性描述了QP的发送和接收属性。 在 UC 和 RC QP 中,这意味着将 QP 与远程 QP 连接。 在 Infiniband 中,应向子网管理员 (SA) 执行路径查询,以确定 QP 应配置哪些属性或作为最佳解决方案,使用通信管理器 (CM) 或通用 RDMA CM 代理 (CMA) 连接 QP。 然而,有些应用程序(如ceph)更喜欢自行连接 QP,并通过套接字交换数据来决定使用哪些 QP 属性。 在 RoCE 中,应在连接的 QP 的 QP 属性中配置 GRH,或在 UD QP 的地址句柄(Address Handle)中配置 GRH。 在 iWARP 中,应仅使用通用 RDMA CM 代理 (CMA) 连接 QP。 结构体: struct ibv_qp_attr 描述了队列对QP的属性:
晓兵
2024-02-24
443
2
NVIDIA Eos 揭晓:全球十大超级计算机排名第9
人工智能
高性能计算
云计算
aigc
nvidia
NVIDIA 的突破性 DGX AI 超级计算机是全球企业的蓝图,旨在为 AI 创新的下一个前沿提供动力
晓兵
2024-02-16
388
0
点击加载更多
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档