前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >破解低端机难题,美颜特效SDK助力昆仑万维StarMaker全球用户丝滑“变脸”

破解低端机难题,美颜特效SDK助力昆仑万维StarMaker全球用户丝滑“变脸”

作者头像
腾讯云音视频
发布2024-10-18 17:24:57
1290
发布2024-10-18 17:24:57
举报
文章被收录于专栏:音视频咖

“不出海就出局”,出海,是近几年泛娱乐社交领域毫无疑问的关键词。

当大家的出海焦点聚集在Tik Tok等短视频领域时,StarMaker这个音娱社交类应用也正以惊人的速度,在海外市场开疆拓土。音乐慰藉心灵!看罢全球满屏的小姐姐,听听小曲唱唱歌也是一种另类的小确幸!

StarMaker是昆仑万维出品的以“K歌+社交”为主打卖点的应用,提供语音房、直播间、休闲游戏等多种在线娱乐场景。自2016年上线至今,依托其领先的音视频体验、丰富的社交互动功能、深度本地化运营策略及完善的音乐曲库覆盖,快速完成了全球化扩张,全球累计注册用户超3.1亿人。截至2023年末,StarMaker 累计在 126 个国家和地区位列音乐/音频类应用下载榜前五,其中 82 个国家和地区位列第一;累计在 148 个国家和地区位列音 乐/音频类应用畅销榜前五,其中 130 个国家和地区位列第一,StarMaker成为海外最受欢迎的音乐社交娱乐平台之一。

但全球用户数量的爆发式增长,也为StarMaker带来了新的挑战。

01、全方位细致优化

10年老机型同样流畅运行

但StarMaker用户主要以中东、东南亚、南美为主。这些地区,手机机型杂、种类多,且几百元的低端机占据着绝大部分市场份额。很多用户仍在使用5年前发布的手机,Android系统版本还不到11,CPU主频只有1.8-2.4GHz。这些性能较低的手机在运行在线K歌/直播等功能时,系统性能开销极大,很容易发生卡顿、发热等问题。在StarMaker加入美颜特效功能后,系统资源消耗进一步增加。手机性能导致的卡顿等问题不仅严重影响了用户体验,也阻碍了产品的市场推广。如何既保障美颜效果,又能让不同手机都流畅运行,成了StarMaker团队绕不开的难题。

最初,StarMaker的美颜美妆功能采用了自研方案,但针对低端机的性能优化特别耗费精力、资源。一方面,设备型号纷繁复杂,需要适配海量机器的性能。另一方面,美颜美妆功能本身非常复杂,各类贴纸、滤镜以及瘦脸/大眼等等细项调整都需要进行细致的性能优化。这不仅需要强大的研发能力,更依靠深厚的技术积累和经验。权衡之后,StarMaker放弃了自研方案。对比多家云厂商,他们最终选择了腾讯云美颜SDK。而腾讯云也没有辜负StarMaker项目组的信任,仅用两周时间便交出了一份完美答卷,即保留了丰富精细的美颜效果,又大幅优化了SDK性能,让10年超老手机机型也能以30帧稳定运行美颜特效

腾讯云美颜特效SDK能如此快速地完成交付,得益腾讯数十年的AI技术沉淀和海量服务经验。针对性能问题,腾讯云团队全面梳理了美颜特效各个功能的处理逻辑,逐条逐项优化排查,在保持美颜特效效果不变的情况下,从基础美颜、美妆、动效等方面进一步优化了SDK的性能,让用户在高、中、低端机上都能体验到流畅、稳定的美颜特效能力。

  • 在基础美颜方面,腾讯云美颜特效SDK全面梳理了渲染链,摒弃冗余渲染流程,整合多个零散渲染节点,减少渲染次数,提升渲染效率。
  • 在美妆方面,传统的整妆本质是一个特效素材,配置复杂,一个简单妆容的配置文件就有上千行代码,加载和使用中占用的资源较多,且美妆无法很好地与其他特效叠加。所以腾讯云美颜特效SDK将整妆优化为“轻美妆”,由一个非常简单的配置文件将多个单点妆容组合起来,相较整妆性能更好,且能与任意特效素材叠加使用。
  • 在特效贴纸方面,腾讯云美颜特效SDK优化了动态贴纸的加载和缓存逻辑,提升了缓存命中的概率,无需频繁地加载和解析,提升了运行时的流畅性。对某些全屏大动效,也做了合理裁剪,减少其体积,加快加载速度。

通过上述的通用性优化,腾讯云美颜特效SDK在高、中、低端机上都取得了更优的性能,单帧处理耗时可减少10%左右。此外,针对低端机,腾讯云美颜SDK还做了进一步的深度优化:

  • 分场景选用不同的AI算法模型:在美颜美型场景,采用轻量的AI模型,减少CPU占用。在美妆场景,采用高精度AI模型,确保妆容的准确性和实时性;
  • 研发快速磨皮算法,与常规磨皮相比,在保持相同美妆效果的前提下,性能得到了大幅提升;
  • 采用全新的液化瘦脸方式,通过精细调整参数,使用的人脸点位更少,但瘦脸效果与优化前完全一致;
  • 提供更加灵活的AI能力开关配置,例如当用户没有使用妆容类效果时,可实时关闭人脸遮挡检测能力,减少CPU占用。

通过上述深度优化措施,腾讯云美颜特效SDK在低端机上的处理耗时明显降低,耗时最高可减少近50%。下图展示了超低端机在1080P场景时使用腾讯云美颜特效SDK进行单帧处理耗时的测试数据。在实际场景中,由于大多数直播应用采用720P或480P分辨率,因此使用美颜特效SDK的单帧处理耗时更短,完全可以保障以30帧稳定运行。

(注:level=1是指在美颜特效SDK分级体系中最差的机型)

卡顿VS流畅美颜动图对比

02、针对出海场景专门优化

满足全球用户需求

除了低端机性能瓶颈外,全球化的发展,也让StarMaker等出海音视频应用的用户群体日益多样化。不同地域、不同肤色、不同人种的用户对美颜特效的需求各不相同。为了满足全球用户的需求,针对不同人种的脸型特征,腾讯云美颜特效SDK进行了专门的优化,使得特效能够更好地适配不同的脸型,40+ 脸型细项调整,300+ 全身点位识别,“无死角”人脸美化,确保全球各地的用户都能享受到优质的美颜效果

针对不同地域的用户需求,腾讯云美颜特效SDK提供了丰富多样的贴纸库。用户可以根据自己的文化和喜好,自由选择贴纸,充分展现个性。我们的贴纸库涵盖了全球各地的文化元素和节日庆祝,用户可以根据自己的偏好选择不同的贴纸,展现独特的个性。贴纸库会根据时事热点和用户反馈定期更新,确保用户总能找到最新、最有趣的贴纸。腾讯云美颜SDK还提供配套专业特效素材制作工具,海量素材,模板丰富,支持客户自定义2D/3D贴纸。无论是节日庆祝、文化符号还是日常生活中的趣味元素,丰富的贴纸库都能满足用户的多样化需求。

腾讯云始终秉持以客户为先的服务态度,服务支持速度快,切实考虑客户诉求,以完善的产品矩阵和最先进的技术,为各行各业提供国际化、全场景的技术支持。在日前的腾讯全球数字生态大会上,腾讯云音视频也在现场展示了美颜特效SDK丰富、实时、高效的美化能力。实际效果让TIM都直呼惊艳!

特效SDK也将持续出海,深耕全球市场,为全球用户带来卓越的音视频体验。我们将不断优化和升级技术,确保在各种复杂环境下都能提供高质量的服务。欢迎扫描下方二维码,了解更多业务详情,与我们一起共创美颜无界的未来,为企业的国际化发展保驾护航

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2024-10-17,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 腾讯云音视频 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
腾讯特效 SDK
腾讯云视立方·腾讯特效 SDK(Tencent Effect SDK)(美颜特效 SDK)是音视频终端 SDK(腾讯云视立方)的重要组成部分,基于优图精准的 AI 能力和天天P图丰富的实时特效处理,为各类视频处理场景提供了丰富、实时、高效的美化能力。腾讯特效 SDK 支持与腾讯云直播 SDK 、短视频 SDK、音视频通话 SDK 等音视频终端产品集成,高效便捷,优势尤为明显。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档