内存省一半、CPU降三成，腾讯大数据团队论文入选数据库顶会 VLDB！

2023 年 8 月 28 日至 9 月 1 日，第49届VLDB国际会议将在加拿大温哥华举行。腾讯大数据平台大脑团队在Spark自动调优领域的研究成果入选了VLDB 2023，并受邀在大会上进行现场报告。

VLDB国际会议 (全称为International Conference on Very Large Data Bases）于1975年在美国的弗雷明汉马成立， 与另外两大数据库会议 SIGMOD、ICDE 构成了数据库领域的三大顶级会议，已成为数据库研究人员，供应商，参与者，应用开发者，以及用户一年一度的主要国际论坛。VLDB会议重点关注大规模数据管理和处理，包括数据模型、查询处理、数据挖掘、数据存储和分布式计算等方面；其反映了当前数据库研究的前沿方向、工业界的最新技术和各国的研发水平。

Towards General and Efficient Online Tuning for Spark

腾讯大数据平台大脑团队，致力于构建领先的大数据全场景智能化服务平台，围绕大数据领域，通过构建标准化数据底座+AI决策大脑+智能服务，持续提升大数据平台和云产品整体智能化水平，为内外业务提供具备突出的成本、研效、低使用门槛等优势的大数据服务。

腾讯大数据平台大脑团队联合北京大学计算机学院崔斌教授研究团队研发了一个通用且高效的 Spark 调优系统 ： OnlineTune。它可以同时解决现有调优系统存在的三方面问题：功能有限、开销高和搜索效率低下。该系统采用在线调优的范式进行配置优化，即在完成周期性任务执行的同时，对不同配置的效果进行验证；在这种设计下，OnlineTune在调优过程中不需要验证开销。其采用基于贝叶斯优化框架对潜在的带约束黑盒调优问题进行求解。为了确保在线作业执行期间的安全，该系统使用了一种对安全区域建模的安全配置生成方法。最后，三个创新性的技术被设计并实现以加速调优过程：（1）自适应子空间生成，（2）结合近似梯度下降的贝叶斯优化，（3）迁移学习技术。最后OnlineTune被设计实现为一个独立的云服务，目前已经在腾讯的数据平台上进行应用。在公开基准任务集和大规模生产任务上展示了该系统在实用性、通用性和效率方面的优势，当前该调优服务能在较短的迭代内取得超过 50% 的内存成本和 30% 的 CPU 成本节省。

该论文与现场报告将于8月底正式亮相 VLDB 2023。届时，腾讯大数据平台大脑团队也将公开论文以及对应的技术分析文章，敬请关注。