热迁移、RTC 计时与安全增强…腾讯云 KVM 性能优化实践经验谈

嘉宾介绍：肖光荣，腾讯云开源团队负责人，操作系统专家。肖光荣在Linux内核、KVM社区工作近十年，是Ftrace, MM, Networking等子系统的活跃贡献者。近几年主要工作在虚拟化领域，是KVM的核心开发者，Virtual NVDIMM子系统的维护者。肖光荣向社区提交了大量Patch，在华人内核贡献者中排名Top 15，在内核和KVM社区拥有巨大影响力。

写在前面

前不久，KVM Forum 大会发布了 2017 年最新 KVM 开源贡献榜，腾讯云因其向 KVM 内核贡献了 46 个 patch，成为全球唯一一家上榜的公有云厂商。据了解，这些补丁大多是腾讯云在实战过程中的经验总结，主要用于改善和解决 KVM 虚拟机在热迁移，时钟计时、嵌套虚拟化等方面的使用问题以及修复一些安全漏洞。

在开源的所有 patch 里，比较引人注目的是，腾讯云率先采用快速写保护、共享脏页位图、优化热迁移块大小等一系列方式，优化热迁移效率以及提升热迁移成功率。那么，它的虚拟机热迁移过程和具体方法是什么？腾讯云又如何看待 KVM 技术开源？KVM 现在面临着哪些新的挑战？带着这些问题，InfoQ 采访了腾讯云高级工程师肖光荣，就腾讯云的 KVM 开源技术与开源思路做了简单交流。

Q：简单阐述一下 KVM 虚拟化技术以及 KVM 和云计算的关系？

肖光荣： KVM 是 Kernel-based Virtual Machine 的简称，KVM 要求 CPU 支持硬件虚拟化技术（如 intel VT 或 AMD-V），是 Linux 下的全虚拟化解决方案。KVM 由处于内核态的KVM模块和用户态的 QEMU 两部分构成。内核模块实现了 CPU 和内存虚拟化等决定关键性能和核心安全的功能并向用户空间提供了使用这些功能的接口，QEMU利用KVM模块提供的接口来实现设备模拟、 IO 虚拟化和网络虚拟化等。单个虚拟机是宿主机上的一个普通 QEMU 进程，虚拟机中的 CPU 核（vCPU）是 QEMU 的一个线程，VM 的物理地址空间是 QEMU 的虚拟地址空间（图 1）。

vCPU 线程经过KVM模块提供的系统调用进入到宿主机内核态，在内核态切换到CPU的非根模式，即 guest 模式，此时虚拟机内的 CPU 获得宿主机 CPU 资源，得以执行。在 guest 模式中，遇到敏感指令无法直接执行，或者有特定的内部异常和外部中断产生，vCPU 会退出到根模式由 KVM 内核或 QEMU 来模拟执行（图 2）。

KVM 虚拟化技术是当前云计算中计算虚拟化的主流技术，是云计算的核心底层能力，使用 KVM 把多台物理机虚拟化后，组成一个大的虚拟资源池，方便用户从资源池中按需分配计算能力，提升资源的使用效率，同时保证多用户资源之间的隔离性、安全性。

Q： 腾讯云此次向 KVM 社区贡献的 46 个 patch 主要解决了哪些问题？

肖光荣：这 46 个 patch 是我们在实战过程中的经验总结，用于改善和解决 KVM 虚拟机在实际运营过程中遇到的一些问题，这些Patch主要应用在以下三个方面：

• 时钟方面重构 KVM 的 RTC 计时框架。让 windows 虚拟机的时钟系统在时钟频率频繁调整的情况下保持精准。重构 KVM LAPIC Timer 的模式切换和频率调整的模拟，使其完全与硬件行为保持一致。优化 KVM LAPIC Timer 时钟中断注入的延迟。发现并解决了使用硬件辅助的 VMX Preemption Timer 模拟的 KVM LAPIC Timer 时的各种抢占问题。
• 嵌套虚拟化方面重构异常注入的逻辑。解决了嵌套虚拟化下异常丢失的问题。添加异步缺页异常 (Async Page Fault) 在嵌套虚拟化下的支持。这些问题的解决，使得嵌套虚拟化更加稳定和高效，可以让更多的用户在不导镜像的情况下，将业务迁移上云。
• 修复 KVM 将宿主机信息外泄的问题。修复KVM在模拟CPUID指令和处理虚拟机设备访问时，意外地将宿主机上的内存泄露到虚拟机。

Q：腾讯云在虚拟机热迁移技术上有比较明显的突破，能否讲解一下虚拟机的迁移过程以及腾讯云如何提升热迁移性能？

肖光荣：虚拟机热迁移是一项非常重要的技术，热迁移可以在用户几乎无感知的情况下将虚拟机从当前宿主机迁到另外的宿主机，热迁移主要用于解决一些软硬件不可逆场景下的虚拟机可用性问题，如：宿主机硬件批次性隐患、宿主机内核内存泄漏等。腾讯云内部大量地使用热迁移来提升虚拟机的可用性，从近一年的统计数据来看，已经做到虚拟机的可用性大于物理机。

虚拟机的热迁移主要有下面几步：

1. 在目标宿主机上准备虚拟机运行环境，如挂载共享存储，创建虚拟网络等；
2. 从源宿主机建立到目标宿主机的连接，用于传输虚拟机的状态，比如内存；
3. 源端需要捕捉内存的更改并记录在内存传输过程中有哪些页面被改动，这些脏页需要在下一轮迭代中继续传输；
4. 传输全量内存；
5. 本轮内存传输完毕后，如果剩下的脏页数量能在设定的停机时间内传输完毕，那么将虚拟机停机，否则继续传输脏内存，直到脏内存的量收敛到可以在预定时间内传输完成为止；
6. 传输余下的脏内存，以及停机时 CPU 寄存器和各个子系统的状态；
7. 此时源端和目标端的虚拟机状态完全一致，在目标端让虚拟机恢复运行，迁移完毕。

如上所述，源端需要去捕获内存的更改，在当前的环境下是采用写保护和脏页位图的方法，即先把内存全部变为只读，在虚拟机写内存时就会产生异常被KVM内核模块捕获并且记录到脏页位图，该脏页位图最后被复制到QEMU，据此QEMU能知道哪些内存被更改。

对于脏页内存的捕获，我们主要通过两大方式提升热迁移效率：1）采用快速写保护算法，该算法是无锁的并且算法复杂度为 O(1)，这就意味着它的性能与虚拟机的内存大小和工作负载无关。2）采用KVM内核模块和QEMU共享脏页位图的方法，实现零拷贝以及减少用户态和内核态的上下文切换。

另外在迁移脏块的时候，针对子机内部 IO 性能下降的问题，优化热迁移块大小，避免传输无用数据，提升热迁移成功率。当然，腾讯云还有很多其他提升热迁移性能和稳定性的优化方法，在此就不一一列举了。

Q：腾讯云如何看待云厂商们对 KVM 开源的贡献和支持问题？

肖光荣：腾讯云一直秉承开放，共享的心态参与开源，凭借庞大的用户群和 KVM 集群规模，腾讯云在 KVM 虚拟化上做了深入的研究和丰富的实践。腾讯云自 2017 年 5 月加入 Linux 基金会以来，更加大了回馈社区的力度。在 KVM 内核领域，已经是贡献度最高的公有云厂商。

过去，大型开源项目一直鲜见中国大型企业的身影，所以开源界一直诟病中国企业只索取不贡献，作为公有云的一线厂商，我们希望通过实际行动转变开源界的看法。

当前 KVM 虚拟化技术是各家云厂商使用的主流虚拟化技术，腾讯云有一个专门负责做开源的团队，该团队一方面将持续创新以来解决腾讯云线上遇到的各种挑战并且将产出反馈给社区，另一方面探索云计算领域的新技术，做好前沿技术的预演和积累。同时我们也希望各大云厂商加大对 KVM 项目的投入，积极参与到社区，共同应对新硬件，新架构给 KVM 带来的挑战。

Q：KVM 技术现在面临着哪些新的挑战？

肖光荣：一方面，Intel 不断推出新 CPU 架构：haswell、broadwell、skylake 到 cascadelake，网络带宽从 10G 到 25G 再到 100G，更新的硬件架构，更高的网络带宽需要更高效的虚拟化才能将硬件的性能充分发挥。另一方面，GPU、FPGA 在 KVM 上的虚拟化、池化有待突破，否则 GPU、FPGA 的整体利用率无法提升。虚拟机网络性能一直是虚拟化的短板，利用智能网卡等技术可以将网络性能做到和物理机旗鼓相当，但同时也让热迁移变得困难。