如何提升资源利用率？深圳先进院大数据分析系统性能优化已落地应用

“我们研发的云平台资源管理软件技术中的部分技术和华为公司展开了实质性合作，最近在华为全连接大会上进行了展示。”10月13日，中国科学院深圳先进技术研究院（以下简称“深圳先进院”）喻之斌博士在南山图书馆举办的南山博士论坛中科院先进院专场活动上透露，该研究曾获得科技部国家重点研发计划资助，目前所应用的只是其部分成果，“软件定义云计算资源管理”课题将于2021年结题。

喻之斌在题为《大数据-蚂蚁搬大米式的计算》的演讲中介绍，随着计算技术和物联网的发展，城市交通、医疗健康、药物设计、金融电信等领域都出现了“大数据”现象。而这些行业的“大数据”整体呈现“4V”特征，分别是Volume（数量大）、Velocity（数据产生速度快）、Value（数据能产生很多价值）和Variety（数据的多元化）。“当大数据变成‘石油’，也对传统的计算机系统提出了极大挑战。”喻之斌说。

对此，喻之斌深耕“软件定义云计算资源管理”课题研究，其中大数据分析系统性能优化是一个重要研究方面。据了解，该课题研究是针对目前云计算平台所遇到的三大挑战而展开的：云平台管控复杂、资源闲置严重、和服务质量难以保障。造成这种困难的主要原因之一是云平台资源管理软件本身非常复杂，且各部件错综复杂地紧紧缠绕在一起。

他介绍：“我们想从零开始研究与开发一款能像搭积木一样按需求构建的云平台资源管理软件，称为软件定义云平台资源管理软件-变色龙（Chameleon）。我们将Chameleon的体系结构分为四个平面：物理资源平面、数据平面、配置平面、和控制平面。目前，我们在每个平面的研究上都取得了阶段性成果。”

据了解，物理资源平面指云平台中的硬件资源，包括服务器、路由器、存储器等。数据平面指云平台中硬件资源的量，被使用的情况等。配置平面是云应用如大数据分析程序的被动式资源配置，即程序所使用的资源在运行之前配好，开始运行后资源的量不可改变。控制平面指云平台中的任务调度和资源分配，它是主动式资源配置，即程序运行后还可改变程序所使用的资源。

研究人员在数据平面、配置平面、和控制平面都取得了非常好的阶段性成果。如在数据平面提出了性能大数据的概念，并利用性能大数据来指导处理器芯片设计和程序性能优化。该工作在CCF A类的顶级国际会议MICRO 2018上发表。

值得一提的是，在配置平面，他们提出了让机器自动配置复杂资源的方法，能将程序性能提高达89倍，该工作在CCF A类的顶级国际会议ASPLOS 2018上发表；在控制平面，他们提出了时空共享的任务调度抽象，在云平台复杂且很深的软件井（栈）中搭起一架天梯，通过标签来协调“井”中各层的任务调度。实验表明，该方法能大大降低云平台中的时间和空间（资源）浪费，提高程序的性能。该工作已经在CCF A类的顶级国际ISCA 2019上发表。

据介绍，作为南山博士论坛中科院先进院专场，“创新知行荟”首次登陆南山图书馆，面向更多的听众。“创新知行荟”是由南山区科协与中科创客学院主办、深圳市中科钜弘文化有限公司承办的高端科普活动，主要是邀请国际科技前沿领域的专家学者围绕脑科学、新材料新能源、人工智能、大数据、生物医药、机器人等战略新兴产业，做专题演讲、圆桌对话以及进行科技成果与产业界对接等。

【记者】张秀娟

【摄影】朱洪波

【作者】 张秀娟；朱洪波

【来源】 南方报业传媒集团南方+客户端