暂无搜索历史
集合通信协议LL、LL128、simple出现原因?NCCL源码解读介绍_哔哩哔哩_bilibili
RDMA通信
git的下载地址,安装和使用
研究生生活分享
1.1 RDMA基本原理和优势,以太网socket通信为什么要用户空间拷贝到内核空间_哔哩哔哩_bilibili
3.2大规模异构集群,混合并行分布式系统,解释算力不均衡问题HETHUB_哔哩哔哩_bilibili
cpu亲和性设置,NCCL,sched_setaffinity sched_getaffinity,CPU_ZERO、SET、ISSET、linux_哔哩哔哩_...
mq_open mq_close mq_unlink mq_setattr mq_getattr mq_send mq_receive
网络通信相关基础知识学习分享
其中C表示训练语言模型所需的总计算量,N表示模型参数量,D表示用于训练的语料总量,6表示每训练一个token所需的浮点计算量约为6N,其中前向计算2N,反向计算...
通过MPI获取本机rank(可理解为进程)数量localrank,用于rank绑定GPU;
NCCL源码解读,调研,MPI
暂未填写公司和职称
暂未填写个人简介
暂未填写技能专长
暂未填写学校和专业
暂未填写个人网址
暂未填写所在城市