问题背景:
Google最近开源了一种语音压缩的新型超低比特率编解码器,这种编码器的最大特点是基于机器学习原理,能够使用最少的数据来重建语音,这是和传统AAC和Opus编码原理的本质区别,这种基于机器学习的编码思想也逐渐应用的图像编码和视频编码上。
其次Lyra牛逼的地方在于不仅实现了以每秒3kb网络宽带提供听起来自然清晰的语音聊天,还可以在仅90ms延迟的情况下在从高端云服务器到中端智能手机的任何设备上运行。
随着谷歌的推广,估计WebRTC后续也有相关动作支持起来,特别在网络比较差带宽较低的场景下进行实时音视频互动有一定的优势。目前已经在Google Duo中进行了应用。
下面是收集的一些链接和资料,大家可以自行了解和学习。
开源git地址:
https://github.com/google/lyra
官网博客介绍:
https://ai.googleblog.com/2021/02/lyra-new-very-low-bitrate-codec-for.html
https://opensource.googleblog.com/2021/04/lyra-enabling-voice-calls-for-next-billion-users.html?m=1
编码效果对比:
https://mp.weixin.qq.com/s/y0QQ5JvKya-rnET9wZnQ7Q
采访记录:
https://mp.weixin.qq.com/s/Y1wceNAuMO7X8Vq3NiJ_GQ