暂无搜索历史
3.2大规模异构集群,混合并行分布式系统,解释算力不均衡问题HETHUB_哔哩哔哩_bilibili
cpu亲和性设置,NCCL,sched_setaffinity sched_getaffinity,CPU_ZERO、SET、ISSET、linux_哔哩哔哩_...
mq_open mq_close mq_unlink mq_setattr mq_getattr mq_send mq_receive
网络通信相关基础知识学习分享
华为集合通信库开源了!HCCL开源链接、拓扑算法、常用接口_哔哩哔哩_bilibili
其中C表示训练语言模型所需的总计算量,N表示模型参数量,D表示用于训练的语料总量,6表示每训练一个token所需的浮点计算量约为6N,其中前向计算2N,反向计算...
通过MPI获取本机rank(可理解为进程)数量localrank,用于rank绑定GPU;
NCCL源码解读,调研,MPI
大语言模型贼牛逼这个就不强调了哈,机器翻译,人机会话表现出巨大潜力和应用价值。模型大小和训练数据大小决定了模型能力,为实现最先进的模型,人们已经致力于万亿tok...
万卡训练集群构建方案
1.1 数据并行 模型并行 DP DDP Zero分布式并行_哔哩哔哩_bilibili
大模型训练、数据并行、模型并行、张量并行
暂未填写公司和职称
暂未填写个人简介
暂未填写技能专长
暂未填写学校和专业
暂未填写个人网址
暂未填写所在城市