大模型与AI底层技术揭秘（25）大丈夫日记

有一天，小H被人拉进了一个技术交流群，却发现群里讲的都是各种八卦、社会新闻和pdf小作文。小H立即产生了浓厚的兴趣，天天在这个群里面学习知识。皇天不负有心人，有一天群里终于出现了技术话题，讨论起GPU服务器内部的组件互联。小H看见了一句金句：“计算的尽头是通信”。再一看，原来是方老师说的！

小H立即去购买了《现代通信原理》看，但却被TDM、SDM、WDM和CDMA等概念弄得有点糊涂。当小H看到香农公式——

C= B log2 (1+S/N)

公式里面的对数运算符似乎变成了一只瞌睡虫，飞进了小H的鼻子，小H闭上了眼睛。

小H睁开眼睛的时候，发现自己身处80年代的香港，高楼林立，金碧辉煌。小H走进自己在中环一间金融公司的办公室，从镜子里看到自己是个油头粉面的港风靓仔，长得很像大明星周润发，大家管他叫周定发，或发哥。

发哥是金融圈的单身贵族，期望女朋友有叶倩文的身材和王祖贤的面孔。可是，这样的姑娘哪里才有呢？

机缘巧合，发哥遇见了长得和叶倩文一模一样的空姐sally，和酷似王祖贤的时装店的老板娘祖儿，并且把这两个姑娘都发展成了女朋友，由于选择困难，最后发哥在法国和美国跟两个姑娘各自结婚。

为了让两位美女都不知道对方的存在，发哥设法在两人之间竭力周旋，让两个人都以为自己独占了发哥，但最后纸包不住火，在祖儿结婚纪念日的那天被揭穿，两个人把发哥骗去酒店，绑在床上，sally用打火机烧熔自动喷淋系统，发哥被浇成了落汤鸡。

最终的解决方案之一是周定发带着两个老婆去中东，加入当地宗教，就可以基于教法合法地娶两个老婆了，理论上支持扩展到4个。

小H虽然在做梦，但因为梦里赶上了这样的好事儿，也笑醒了。

这是香港电影《大丈夫日记》里面的情节。小H突然想到，技术群里转发的各种pdf小作文其实说的也差不多是这么回事儿。

让小H开始打瞌睡的TDM和SDM，在电影情节里面都有体现。由于通信信道资源是宝贵的，需要尽量把有限的通信信道资源用于不同的业务，才能把信道承载的通信量压榨到香农极限。这种把多个业务放到一个信道的方式就叫做复用（Multiplexing）。

TDM是Time Division Multiplexing的缩写，也就是时分复用，把一个信道切分为时间片，给不同的业务使用，让各个业务以为自己在独占信道。在电影中，周定发以各国股票开盘时间不同为借口，周一三五去sally家，周二四六在祖儿家，让两个姑娘都以为自己独占了发哥，这就是所谓的时分复用。

而SDM是Space Division Multiplexing的缩写，也就是空分复用，让不同业务使用物理空间的不同部分，以复用空间信道。在电影中，周定发最后选择移民中东实现合法地娶多个老婆，就是所谓的空分复用。

“IT的尽头是CT”。虽然TDM和SDM等复用技术起源于CT（通信技术），但在计算机中，TDM和SDM也有了自己的用武之地。

TDM指的是，计算机的使用者以为自己在独占计算机，实际上自己是与其他人在分享计算机的时间片。多进程操作系统实现的就是TDM。

SDM指的是，计算机的使用者以为自己在独占计算机，实际上自己只使用了整台计算机的一部分。在不超分的情况下，虚拟化实现的就是SDM。如果对CPU进行超分，那么，CPU还实现了TDM。

无论是TDM还是SDM，其目的都是一致的：通过让不同用户复用计算机，尽量充分利用计算机的计算存储硬件。

在AI与大模型时代，算力的焦点也从CPU转移到了GPU。我们发现，GPU实际上是一个高度并行，并针对向量计算做了特殊优化的计算机，那么，我们也可以使用TDM和SDM，尽量把GPU的计算能力压榨到极限。特别地，在推理和渲染场景下，如果把一个物理GPU只分配给一个应用，在一般情况下是严重浪费GPU计算能力的。

因此，工程师们开启了一扇新的大门——GPU虚拟化。