小H在学习了本专题以后,开始思考一个问题:
人的大脑相当于什么级别的CPU和GPU呢?
小H想了想,发现自己计算这个问题:
把48331804981分解为两个质数的积
比计算机CPU要慢很多倍。
但是看到这张图却能立即进行渲(脑)染(补)并识别出是谁:
好像觉得自己的大脑又行了,能跟NVidia H100集群PK了。
方老师发现了,嘲笑小H:你怎么也学小学生的恶趣味呢?
小H讪讪地回座位去研究上期遗留的问题了。
在上期,我们遗留了另一个问题:在ARM Cortex-A 体系架构下,应当如何让让虚拟机的OS能够访问到PCI-E设备的配置空间,IO BAR空间和DMA缓冲区?
我们先看看在Intel 体系架构下是如何解决这一问题的。
在Intel 32bit(x86)或64bit(x64)模式下,PCI-E配置空间实际上是一段位于系统内存区域的地址,访问这段地址应当使用普通的基址变址指令,而不需要使用input/output这种对系统IO端口访问的指令。
如图,在PCI-E配置空间的第16字节到第40字节,是所谓的BAR(Base Address Register),是这些PCI-E设备本身的工作寄存器(如网卡的MAC寄存器,Phy寄存器等)地址段的起始地址和偏移量。这部分地址的访问方式与配置空间类似,也通过普通基址变址指令来访问,替代传统实模式下的input/output指令。
此外,操作系统在初始化PCI-E设备硬件的时候,会给PCI-E设备硬件分配自己可直接使用的DMA内存空间,硬件会直接对这部分空间进行数据的读写,因此CPU可以和其他PCI-E设备通过DMA内存地址空间,使用共享存储器的方式进行大批量数据的互通。
在物理机上,这些硬件直接看到的地址(物理机总线上可以通过逻辑分析仪抓到的地址,我们称为宿主机物理地址(HPA,Host Physical Address)。而程序指令中访问的地址为虚拟地址(HVA,Host Virtual Address),HVA是HPA通过MMU映射的结果,二者之间的映射表保存在MMU(Memory Management Unit)维护的TLB( Translation Lookaside Buffer)表中。对于多核处理器,大家共用一个MMU和TLB。
在存在虚拟机的情况下,问题则变得复杂化。虚拟机上程序指令发出的地址被称为GVA(Guest Virtual Address)。问题在于,两台虚拟机有可能使用重叠的GVA,但实际上对应的HVA和HPA都不一样。那么,如何对二者进行区分呢?
Intel的方案是,采用EPT(extended page table),在MMU中的TLB增加虚拟机ID的字段,通过虚拟机ID和GVA的组合,来翻译得到HPA。
在ARM体系架构下,也有SMMU来实现这一翻译功能。
如图,在ARM下,地址翻译类似Intel,也分为两个阶段:
第一阶段,从虚拟机内部的虚拟地址(VA)到虚拟机认为的物理地址(IPA,Intermediate Physical Address);
第二阶段,根据虚拟机的ID,以及IPA,翻译得到真实物理地址(PA)。
对于PCI-E设备直通给虚拟机,我们需要把PCI-E设备的配置空间地址、IO BAR地址和DMA空间地址都通过SMMU进行转换成为VA后,虚拟机操作系统内的驱动程序就可以访问PCI-E设备的硬件了。
解决了PCI-E直通以后,我们就可以在虚拟机里面来使用GPU了,也可以将一台服务器上的多个GPU通过虚拟机分配的方式,给不同的租户使用,并通过云计算平台来按时长等方式进行收费。
然而,正所谓按下来葫芦浮起来瓢。这种GPU算力调度方式又遇到了新的问题——云原生。
请看下期分解。