帅云霓的技术小屋-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

帅云霓的技术小屋

专栏成员

352

文章

167434

阅读量

52

订阅数

大模型与AI底层技术揭秘（小结-下）

虚拟化模型内存线程虚拟机

在大型的计算集群中，往往有成千上万张GPU卡。如何将这些卡构成的算力集群分配给不同的租户，执行租户各自的计算任务，并实现租户之间的资源隔离和故障隔离呢？这就是算力分配与调度系统的功能了。

2024-07-25

1540

大模型与AI底层技术揭秘（小结-上）

网络服务器模型设计数据

目前IT行业的首要热点，也就是所谓的“大模型”和“机器学习”等AI技术，背后的算法，本质上是列出一个参数方程，并根据现有样本(参数方程的输入和输出)，来迭代计算参数方程的参数，也就是所谓的调参。

2024-07-25

1780

大模型与AI底层技术揭秘（42）蜂巢里藏着的奥秘

函数模型数学算法编译

在上期，我们讲到，在CUDA中，可以利用GPU的通用指令（加减乘除、乘方等），通过计算麦克劳林展开式，来计算超越函数。

2024-07-12

1200

大模型与AI底层技术揭秘（41）割圆术与雪糕

原型函数计算机模型数学

小H在楼下见到S和他的妈妈，S的妈妈对S说：你看，你还记得小H当初教你背圆周率吗？

2024-07-01

1210

大模型与AI底层技术揭秘（40）踩着书堆爬出坑

模型内存数据线程缓存

在计算机系统中，如果想取的数据不在缓存中，就是所谓的cache line miss，需要去内存里面找。如果数据是新的（类似新书刚出版）则一定得从内存里面找，需要忍受较长的时延。

2024-07-01

1250

大模型与AI底层技术揭秘（39）王者荣耀与小龙虾饭

硬件指针模型内存线程

最近，小H工作地方食堂新增了一个窗口，卖小龙虾尾盖浇饭，在高峰时段排长队。小H在体验过几次痛苦的排队以后，决定悄摸摸地提前去吃小龙虾尾盖浇饭。

2024-06-18

1100

大模型与AI底层技术揭秘（38）远看泰山黑乎乎

缓存多线程模型线程存储

小H把这首诗读给方老师听，方老师笑了：其实你看GPU里面寄存器和其他存储子系统的组织方式，跟CPU中，存储子系统的组织方式相比，还真就很类似这首诗描述的情景呢！

2024-06-18

1070

大模型与AI底层技术揭秘（37）绞刑架下的报告

函数模型内存同步线程

在上期，我们留下了一个问题：在warp中，多个CUDA核需要同步的时候需要怎么做呢？

2024-06-06

1080

大模型与AI底层技术揭秘（36）分裂没有出路

效率架构模型内存线程

在GPU程序中，如果有if-else这样的分支，在一个warp中，不同的CUDA Core走到了不同的分支，此时scheduler应当如何发射后续的指令呢？

2024-05-27

1190

大模型与AI底层技术揭秘（35）身后就是莫斯科

架构进程模型内核线程

在上期，我们讲到了图灵的故事。图灵发明的密码破译机是盟军赢得二战的得力助手，但正义的联盟战胜法西斯，最终还是依靠英雄的血肉之躯。

2024-05-27

1350

大模型与AI底层技术揭秘（34）最早的国际象棋程序

gpu 程序模型线程硬件

在上期，我们提到，实现支持完备QoS的运营级别GPU虚拟化的关键在于，实现GPU任务的上下文切换。这实际上涉及到一个问题：

2024-05-18

1590

大模型与AI底层技术揭秘（33）从蒸汽动力到电气化的跃进

虚拟化腾讯云模型内存软件

在上期，我们说到，益民食品厂的一名青年工程师利用自己所学的电机学的知识，在电网解体的情况下，抢修工厂供电成功。

2024-05-09

1530

大模型与AI底层技术揭秘（32）保卫冰砖的逆向工程

容器虚拟化模型内核逆向工程

上一期，小H在梦里把游戏《仙剑奇侠传》跟武侠小说混到一起并且说梦话了，被大家嘲笑了。方老师顺便嘲笑了旁边玩《和平精英》的一个家伙：

2024-04-30

2050

大模型与AI底层技术揭秘（31）令狐冲化身酒剑仙

gpu 模型容器技术容器虚拟化

上期我们说到令狐冲在思过崖了解到了剑宗与气宗的区别，武功很快就有了质的飞跃，消灭了大boss东方不败，跟任盈盈携手隐居在山清水秀的杭州，将饮酒与练剑作为日常娱乐项目，最终得道成仙。

2024-04-24

1650

大模型与AI底层技术揭秘（30）剑宗与气宗

模型异常硬件虚拟化 gpu

在上一期，我们讲了一个令狐冲通过使用NVidia GRID vGPU方案，把虚拟化的GPU通给多个虚拟机的方案。但是，这个方案仍然没有解决一个关键的问题——不同的GPU虚拟化实例之间的故障隔离问题。如果任何一个虚拟化实例出现故障，会导致物理GPU上，虚拟的所有GPU实例中运行的程序被全部抛出异常。

2024-04-10

1440

大模型与AI底层技术揭秘（28）思过崖上踢实况

开源虚拟化 gpu 服务器模型

在上期，我们讨论了AMD主导的基于SRIOV的GPU虚拟化方案。我们也发现了，由于GPU本质上不是CPU的一个外设，而是一个高度并行，具备成千上万个核的计算机，而SRIOV只是提供了对外的PCI-E接口的虚拟化，并没有提供GPU计算核心与内存分配给不同VM的能力，因此，GPU的SRIOV虚拟化方案存在着一些固有的缺陷。

2024-04-10

1620

大模型与AI底层技术揭秘（26）从悲惨世界到和平精英

虚拟机虚拟化 gpu 管理模型

在上期，小H在梦里穿越成了“发哥”，并且成功理解了什么是“时分复用”和“空分复用”。这次，小H又梦见了什么呢？

2024-03-25

2110

大模型与AI底层技术揭秘（27）食神挑战烤肥肠

硬件虚拟化模型虚拟机异常

小H最近因为沉迷学（you）习（xi），瘦了不少，小伙伴们打算把小H带去搞点好吃的。

2024-03-25

1250

大模型与AI底层技术揭秘（25）大丈夫日记

渲染虚拟化计算机模型通信

有一天，小H被人拉进了一个技术交流群，却发现群里讲的都是各种八卦、社会新闻和pdf小作文。小H立即产生了浓厚的兴趣，天天在这个群里面学习知识。皇天不负有心人，有一天群里终于出现了技术话题，讨论起GPU服务器内部的组件互联。小H看见了一句金句：“计算的尽头是通信”。再一看，原来是方老师说的！

2024-03-13

1070

大模型与AI底层技术揭秘（24）从葫芦娃到植物大战僵尸

工作模型虚拟机容器 gpu

在很久以前，有一个老爷爷，种下了一棵葫芦，变成了七个各有绝学的葫芦娃。可惜葫芦变成的七个葫芦娃为了保卫和平，救出爷爷，逐一被蛇精和蝎子精抓到了。蛇精和蝎子精想把七个葫芦娃炼成七心丹，没想到七个葫芦娃合体成为了葫芦小金刚，踢碎了炼丹炉，经过艰苦的战斗，最后打败了各路妖魔鬼怪，让山谷恢复了往日的和平。

2024-03-05

1420

点击加载更多

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态