SIGMOD(Special Interest Group on Management Of Data)作为数据库领域的“风向标”,拥有40余年发展历史,每年为数据库领域提供大量高质量的研究论文和研究成果,具有重要的学术价值和行业引导意义,与VLDB、ICDE并称数据库三大优质会议。
本次收录的研究成果中,同态压缩理论和SALI学习索引框架均属于业界初次提出,表明腾讯云数据库在存储、压缩以及学习索引等方面的前沿创新获得国际保障认可。
面对现代社会数据量的爆发式增长,行业普遍使用数据压缩来减少存储空间和提升传输效率。
但目前,多数压缩方案专注于只读文本处理任务,涉及文本修改操作必须将文本进行解压后再执行,这会对数据处理的性能和存储空间带来负面影响。
在腾讯云和人大合作入选SIGMOD会议的论文《Homomorphic Compression: Making Text Processing on Compression Unlimited》中,研究团队创新性提出了同态压缩理论,并在此基础上开发了有效文本数据管理引擎HOCO。HOCO引擎结合了三种代表性压缩方案,通过数据结构和算法设计实现对不同数据集语法规则的解析,实现了在压缩文本上直接进行多种处理任务。
实验表明,在不影响压缩效果的情况下, HOCO可以实现9.18倍的吞吐量提升,文本分析任务的延迟缩短7.16倍。
另一篇入选论文《SALI: A Scalable Adaptive Learned Index based on Probability Models》提出了基于概率模型的可扩展自适应学习索引框架。
在数据库中,索引是提高数据库查询性能的重要方式。为了提高索引的性能和效率,业内引进了学习索引,通过学习模型来预测数据存储位置,进一步提高查找效率。但传统学习索引存在技术局限,一旦数据集发生频繁查询更新等工作负载变化,学习索引也会频繁调整,多线程高并发情况下会面临阻塞。SALI 通过概率模型感知工作负载的变化,使学习索引可动态“进化”局部结构以适应新的负载。此方法在尽可能减少结构变化对性能的影响的同时,大幅降低线程间阻塞问题,从而实现高可扩展性、提有效率并增强学习索引的鲁棒性。
实验数据显示,SALI在64个线程下提高了2.04倍的插入吞吐量。
作为国产数据库行业的开拓者,腾讯云在数据库领域已深耕十余年,服务超过50万客户。而中国人民大学作为数据库研究的摇篮,为数据库技术在中国的持续发展奠定了坚实基础。2020年,腾讯与中国人民大学共同建立中国人民大学-腾讯协同创新实验室,聚焦数据库前沿技术探索和突破。据悉,合作至今,双方在科研方面研发超过10项前沿技术原型系统、申请数十项专利、多篇论文入选SIGMOD、VLDB、ICDE、TKDE等国际顶会顶刊。未来,腾讯将持续发挥其多年的技术研发创新成果和产业应用经验,联合人大一起推动国产数据库的学术进步和技术成果转化。