Loading [MathJax]/jax/output/CommonHTML/config.js
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >在一对一直播软件开发过程中,需要用到哪些前处理技术(一)

在一对一直播软件开发过程中,需要用到哪些前处理技术(一)

原创
作者头像
就爱吃小笼包
修改于 2019-10-10 09:52:14
修改于 2019-10-10 09:52:14
7690
举报

直播中做好对音视频的前处理,是保证用户基本体验的第一步,因为它牵扯到很多关于美颜和声音的优化问题,用户的感官体验是否达标,跟这个环节有很大联系。那么在一对一直播软件开发过程中,一般需要用到哪些前处理技术呢?

关于直播的前处理总共分为两个大项,一是音频前处理,一是视频前处理。而今天,小编就来重点来讲一讲,音频前处理中包含的项目。

音频前处理,含有噪声抑制、回波抵消和增益控制三大块。

一、噪声抑制

有时我们在观看直播时,会听到一些电流音,爆音,滋滋声或者嘟嘟声。其实这种情况主要来源于参数配置、网络波动,甚至是代码层面的原因。以参数配置为例,一旦配置不太匹配,就会导致声音听起来非常诡异,比如:采样率是 32000Hz的音频,如果给播放器配置为8000Hz或者44100Hz,就明显会出现音频慢放或者快放的效果。所以需要注意的是,在采集环节,要给系统的API以及第三方的库配置正确的参数,如:采样率、位宽、声道数等等。

二、回波抵消

回声一般出现在同时有音频的采集和播放的场景,比如:连麦互动、混音返听等等,采集到的音频通过扬声器又播放出来了,同时又被采集了进去,从而产生了回声或者啸叫声。如果要抵消这些影响,就需要通过系统的回声消除API,或者采用第三方回声消除库(如:speexdsp,webrtc等)进行处理。

三、增益控制

当有对语音的响度进行调整时,就需要做针对于语音的自动增益算法处理。处理的方式也比较单一,就是对音频采样加上一个增益因子。但需要注意的一点是,由于人的听觉对所有频率的感知不是线性的,是遵循等响度曲线的,导致这样处理后,听起来感觉有的频率加强了,有的频率削弱了,反而导致语音失真放大。

所以,要让整个频段的频率听起来响度增益都是“相同”的,就必须在响度这个尺度下做增益,而不是在频率域,即按照等响度曲线对语音的频率进行加权,不能采用一个固定的增益因子进行加权。

以上,就是在一对一直播软件开发过程中,需要用到的音频前处理技术,关于视频前处理技术,之后会继续更新,欢迎继续关注。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
音频基础知识
Nyquist 采样率大于或等于连续信号最高频率分量的 2 倍时,采样信号可以用来完美重构原始连续信号。
Gnep@97
2023/09/06
3.8K0
音频基础知识
在一对一直播软件开发过程中,需要用到哪些前处理技术(二)
上期我们讲到,在一对一直播软件开发过程中,关于音频前处理包含的项目。今天我们来接着聊聊,前处理的第二大项—视频前处理。
就爱吃小笼包
2019/10/11
5190
在一对一直播软件开发过程中,需要用到哪些前处理技术(二)
直播软件系统开发,播放端配合服务端优化,做到精确调度
首先,无论是一对一直播系统还是一对多直播系统的开发,都包含语音和视频的功能,并且都会用到流媒体的传输,都需要做好系统的兼容性以及产品的并发。
布谷鸟小刘
2021/07/31
2900
移植speexdsp到OpenHarmony标准系统⑤
这个重采样器可以用于在任意两个速率之间进行转换(比率必须是有理数),并且可以控制质量/复杂性的权衡。
小帅聊鸿蒙
2024/09/10
3310
移植speexdsp到OpenHarmony标准系统⑤
云视频会议背后的语音核心技术揭秘:如何进行语音质量评估?
导读 | 自疫情发生以来,腾讯会议每天都在进行资源扩容,日均扩容主机接近1.5万台,用户活跃度攀升。在如此高并发流量的冲击下,腾讯会议如何保证语音通信清晰流畅?如何对语音质量进行评估?在【腾讯技术开放日·云视频会议专场】中,腾讯多媒体实验室音频技术专家易高雄针对语音质量评估进行了分享。 点击视频,查看直播回放 一、语音质量界定     音频和语音是电声学下面两个不同的学科分支,属于两个不同的应用,两者在应用目的、使用场景、行业和用户认知统一度三方面存在差异,所以对于语音质量测试来说,首先要界定一下评估对象
腾讯多媒体实验室
2020/04/13
2.9K0
实时音视频开发学习2 - TRTC底层实现机制
以上是对腾讯云TRTC产品的一个基本概述,既然知道了这个东西功能这么丰富,拿它涉及了一些什么基础技术,又是怎么实现这个音视频的原理呢?以下便是对其的一个详解。
金林学音视频
2020/08/20
3.2K1
实时音视频开发学习2 - TRTC底层实现机制
语音前处理技术在会议场景中的应用及挑战
 点击上方“LiveVideoStack”关注我们 ▲扫描图中二维码或点击阅读原文▲ 了解音视频技术大会更多信息   //   编者按:随着在线会议的普及,用户已经不再满足于能听到,而是要有更为极致的听感体验,如何能够在复杂多变的应用场景中依旧保证声音清晰流畅是对会议系统的极大挑战。LiveVideoStackCon2022上海站大会邀请到了全时 音视频研发部经理 顾骋老师,为大家详细介绍了语音前处理技术在会议场景中的应用与挑战。 文/顾骋 整理/LiveVideoStack 大家好,我是顾骋,来自全时
LiveVideoStack
2023/04/04
9520
语音前处理技术在会议场景中的应用及挑战
解析腾讯云游戏多媒体引擎GME技术方案
在网络游戏中,无论是大逃杀、棋牌类、电子竞技类还是娱乐休闲类小游戏,玩家和玩家之间的互动和语音聊天都是一个必不可少的环节。作为一个通用的技术需求,如果由游戏厂商自己从零开始研发相应的音频技术,既不经济也不具备技术优势,因此市面上有一些厂商提供第三方的游戏音频SDK,让游戏开发商免于重复造轮子的同时,能把更多时间花在提升核心竞争力上。
可可爱爱没有脑袋
2019/12/03
3.5K0
解析腾讯云游戏多媒体引擎GME技术方案
说好不哭,现在就带你了解直播类音视频测试!
显而易见,优酷、爱奇艺、全民K歌、QQ音乐、网易云等音视频直播市场的繁荣是大势所趋
可可的测试小栈
2019/10/17
2.7K0
IEEE ASRU 2023录用论文解读 | 打造极致听觉体验,腾讯云MPS音频处理能力及降噪算法原理
近期,语音与语言处理领域旗舰会议IEEE ASRU 2023论文入选结果公布。腾讯云媒体处理(MPS)在语音增强降噪方向的创新成果再获业界认可,《Magnitude-and-phase-aware Speech Enhancement with Parallel Sequence Modeling》(简称MPCRN)和《VSANet: Real-time Speech Enhancement Based on Voice Activity Detection and Causal Spatial Attention》(简称VSANet)两篇论文被IEEE ASRU 2023录用。本文将结合论文内容,与大家分享腾讯云媒体处理(MPS)在音频处理方面的最新能力、相关技术方案以及算法原理。
腾讯云音视频
2023/11/05
7390
IEEE ASRU 2023录用论文解读 | 打造极致听觉体验,腾讯云MPS音频处理能力及降噪算法原理
直播软件开发关于Android、iOS中的视频采集步骤
很多人对直播软件开发还是抱有想法的,但是在这个资本冷静的市场下,直播平台该怎么玩,在直播软件开发过程中哪些功能是必须具备的,这都是值得关注的话题。今天我们给大家分享一份详细的直播软件开发关于Android 、iOS音视频采集步骤讲解。
云豹kj的晨曦
2020/08/12
1.2K0
直播软件开发关于Android、iOS中的视频采集步骤
关于音视频测试的一点建议
作者:罗必达,腾讯音视频实验室质量平台组组长,高级工程师。早年在微软从事移动测试开发,先后参与了 Windows Live Messenger 和 Bing Mobile 两个项目的测试工作。2011 年加入腾讯,转型音视频技术研究,从事建立音视频技术测试体系的工作,并负责 QQ 音视频通话以及腾讯云互动直播 SDK 的底层音视频引擎的测试,在工作和研究中对音视频质量评估积累了丰富的经验。喜欢音乐和玩乐器,喜欢摄影,喜欢绘画,是个不折不扣的“文艺青年”。TLC 直播大会讲师之一。 从事音视频相关的测试工作也
villainhr
2018/07/03
2.7K1
深度解析一对一视频语音通话技术:打造卓越直播交友体验​
在数字化社交迅猛发展的当下,一对一视频语音通话已成为社交互动的核心方式,尤其是在直播交友app领域,其重要性愈发凸显。要构建出色的一对一直播交友平台,需深入理解并巧妙运用相关技术。山东布谷科技将全方位剖析一对一视频语音通话的关键技术,助力开发者打造优质产品。​
山东布谷科技_孙哥
2025/06/09
830
深度解析一对一视频语音通话技术:打造卓越直播交友体验​
影视后期丨Adobe Audition安装教程-AU软件全版本下载地址 +干货分享
Adobe Audition 的是一款专业音频编辑和混合环境,其前身为 Cool Edit Pro(1997年由Syntrillium开发),2003 年被 Adobe 收购,并将其音频技术融入到了旗下 Premiere、After Effects 等影视相关的软件中。
木子学Lee
2023/02/26
3.4K0
影视后期丨Adobe Audition安装教程-AU软件全版本下载地址 +干货分享
音视频知识图谱 2022.06
前些时间,我在知识星球上创建了一个音视频技术社群:关键帧的音视频开发圈,在这里群友们会一起做一些打卡任务。比如:周期性地整理音视频相关的面试题,汇集一份音视频面试题集锦,你可以看看这个合集:音视频面试题集锦。再比如:循序渐进地归纳总结音视频技术知识,绘制一幅音视频知识图谱,你可以看看这个合集:音视频知识图谱。
关键帧
2022/11/29
6650
音视频知识图谱 2022.06
直播软件开发之Java音视频解决方案:音视频基础知识
从信息论的观点来看,描述信源的数据是信息和数据冗余之和,即:数据=信息+数据冗余。音频信号在时域和频域上具有相关性,也即存在数据冗余。将音频作为一个信源,音频编码的实质是减少音频中的冗余。
云豹kj的晨曦
2020/09/14
1.1K0
直播软件开发之Java音视频解决方案:音视频基础知识
实时音视频直播带货中影响用户体验的Bug根因
短视频市场的引爆下,直播带货似乎一下子成了2020年实现财富自由的最佳途径之一,前有李佳琦、罗永浩、薇娅,后有董明珠 、刘涛、李小璐。
可可的测试小栈
2020/06/10
1.5K0
实时音视频直播带货中影响用户体验的Bug根因
技术福利:最全实时音视频开发要用到的开源工程汇总
实时音视频的开发学习有很多可以参考的开源项目。一个实时音视频应用共包括几个环节:采集、编码、前后处理、传输、解码、缓冲、渲染等很多环节。每一个细分环节,还有更细分的技术模块。比如,前后处理环节有美颜、滤镜、回声消除、噪声抑制等,采集有麦克风阵列等,编解码有VP8、VP9、H.264、H.265等。 
JackJiang
2018/08/29
7.2K1
直播源码开发过程中要用到哪些音视频编解码技术?
作为一名合格的直播源码开发者,我们需要清楚的知道其内在的技术架构是由什么构成的。一般一个完整的直播技术架构包括:音视频采集、前处理、编解码、多媒体处理、流媒体协议、视频源码的系统架构、CDN技术和交互技术等等。首先,我们就来聊一聊,在直播源码开发过程中,用到的音视频编解码技术有哪些?
布谷安妮
2020/06/09
5850
直播源码开发过程中要用到哪些音视频编解码技术?
一对一视频聊天软件开发中,用到的编码器有哪些?
在一对一视频聊天软件开发过程中,涉及到众多的音视频编解码技术,例如:视频编解码、音频编解码、硬件编解码和音视频加密等等。要实现这些技术,肯定要选择合适的编码器。编码器经历了数十年的发展,从开始只支持帧内编码演进到现如今以H.265和VP9 为代表的新一代编码器,下面就带大家来看看,一对一视频聊天软件开发中,经常用到的编码器有哪些?
就爱吃小笼包
2019/10/16
1.1K0
一对一视频聊天软件开发中,用到的编码器有哪些?
推荐阅读
相关推荐
音频基础知识
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档