Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >提取音频中的人声: 简明指南

提取音频中的人声: 简明指南

原创
作者头像
buzzfrog
发布于 2024-03-18 12:11:46
发布于 2024-03-18 12:11:46
2.3K00
代码可运行
举报
文章被收录于专栏:云上修行云上修行
运行总次数:0
代码可运行

在当今技术日益进步的时代,人工智能(AI)在多媒体处理中的应用变得越发广泛和精深。特别地,从各种背景噪声环境中精确地提取人声说话片段,这项技术已成为智能音频分析领域的研究热点。本文将深入探讨利用先进的Silero Voice Activity Detector (VAD)模型,如何实现从音频文件中获得清晰人声片段的目标,进而揭示这一技术在实际应用中的巨大潜力。

Silero VAD概述

Silero VAD是一个预训练的企业级语音活动检测器,以其卓越的精确度、高速处理能力、轻量级架构以及高度的通用性和便携性而著称。这款基于深度学习的模型在识别不同背景噪声、多样的语言和不同质量级别的音频方面展现出了令人印象深刻的性能。

主要特点

  • 卓越的精确度:Silero VAD在语音检测任务上取得了杰出的成绩,证明了其在处理复杂音频数据时的强大能力。
本图来至Silero 官网
本图来至Silero 官网
  • 快速处理:单个音频块(30+毫秒)在单线程CPU上的处理时间不足1毫秒。通过批处理或利用GPU,性能可得到显著提升。特定条件下,ONNX版本甚至能达到4-5倍的加速。
  • 轻量级:JIT模型大小约为一兆字节,便于部署在资源有限的环境下。
  • 高度通用性:支持8000Hz和16000Hz采样率,训练涵盖100多种语言,保证了在不同的领域和背景噪声下都能保持良好的性能。
  • 极高的便携性:得益于PyTorch和ONNX的生态系统,可以在任何支持这些运行时的地方使用Silero VAD。
  • 无任何附加条件:以宽松的MIT许可发布,无需任何形式的注册、无内置过期、无任何供应商锁定。

提取音频中的人声

起步准备

首先,确保您的工作环境已经安装了必要的Python库,包括pydub、numpy和torch。这些库分别用于音频文件的加载和处理、科学计算以及执行深度学习模型。

在本示例中,我们使用silero-vad模型(声学事件检测的一种),该模型能够识别音频流中的语音活动。silero-vad是基于深度学习的模型,它可以高效地在各种背景噪声中识别人声。

实施步骤

音频预处理:首先将原音频文件转换为单声道WAV格式,并统一采样率至16000Hz,这一步是为了确保模型能够正确处理音频数据。

  • 分帧处理:接着,我们将处理的音频分成多个帧,以便于模型逐一分析。在本例中,设置的帧长度为600ms。为了提高模型的识别准确率,我们将原有的音频数据切割成连续的、定长的帧。
  • VAD(语音活动检测):借助silero-vad模型和来自PyTorch的实用工具,对每一帧的音频数据进行语音活动检测。如果模型预测结果超过某个阈值(例如0.5),则认为该帧包含人声。
  • 合并说话片段:检测到的人声片段将基于它们的时间戳进行进一步的处理和合并,以便消除过于碎片化的片段,生成更加连续和自然的说话段落。
  • 输出和保存:最后,筛选和合并后的人声片段将被保存为新的WAV文件,每个文件包含一个单独的说话片段,便于后续的处理或分析。
代码语言:python
代码运行次数:0
运行
AI代码解释
复制
import os
import sys  # 导入 sys 模块
import contextlib
import wave
import pydub
import numpy as np
import torch
torch.set_num_threads(1)


# 参数设置
sample_rate = 16000
min_buffer_duration = 0.6  # 这是音频缓冲区的最小长度,单位是秒
# 初始化 VAD
model, utils = torch.hub.load(repo_or_dir='snakers4/silero-vad',
                              model='silero_vad',
                              source='github')


def int2float(sound):
    abs_max = np.abs(sound).max()
    sound = sound.astype('float32')
    if abs_max > 0:
        sound *= 1/32768
    sound = sound.squeeze()  # depends on the use case
    return sound


def audio_to_wave(audio_path, target_path="temp.wav"):
    audio = pydub.AudioSegment.from_file(audio_path)
    audio = audio.set_channels(1).set_frame_rate(sample_rate)
    audio.export(target_path, format="wav")


def frame_generator(frame_duration_s, audio, sample_rate):
    n = int(sample_rate * frame_duration_s * 2)  # 一帧的存储字节长度
    offset = 0  # 字节偏移量
    timestamp = 0.0  # 时间偏移量
    duration = frame_duration_s * 1000.0  # 单位毫秒
    while offset + n < len(audio):
        yield Frame(audio[offset:offset + n], timestamp, duration)
        timestamp += duration
        offset += n


class Frame:
    def __init__(self, bytes, timestamp, duration):
        self.bytes = bytes  # 此帧字节大小
        self.timestamp = timestamp  # 此帧开始时间,单位毫秒
        self.duration = duration  # 此帧的持续时间,单位毫秒


def vad_collector(frames, sample_rate):
    voiced_frames = []
    for frame in frames:
        audio_frame_np = np.frombuffer(frame.bytes, dtype=np.int16)
        audio_float32 = int2float(audio_frame_np)
        with torch.no_grad():
            new_confidence = model(torch.from_numpy(
                audio_float32), sample_rate).item()
        if new_confidence > 0.5:
            is_speech = True
        else:
            is_speech = False
        if is_speech:
            voiced_frames.append(frame)
        elif voiced_frames:
            start, end = voiced_frames[0].timestamp, voiced_frames[-1].timestamp + \
                voiced_frames[-1].duration
            voiced_frames = []
            yield start, end
    if voiced_frames:
        start, end = voiced_frames[0].timestamp, voiced_frames[-1].timestamp + \
            voiced_frames[-1].duration
        yield start, end


def merge_segments(segments, merge_distance=3000):
    merged_segments = []
    for start, end in segments:
        if merged_segments and start - merged_segments[-1][1] <= merge_distance:
            merged_segments[-1] = (merged_segments[-1][0], end)
        else:
            merged_segments.append((start, end))
    return merged_segments


def format_time(milliseconds):
    seconds, milliseconds = divmod(int(milliseconds), 1000)
    minutes, seconds = divmod(seconds, 60)
    return f"{minutes:02d}:{seconds:02d}.{milliseconds:03d}"


def read_wave(path):
    with contextlib.closing(wave.open(path, 'rb')) as wf:
        sample_rate = wf.getframerate()
        pcm_data = wf.readframes(wf.getnframes())
        return pcm_data, sample_rate


def write_wave(path, audio: np.ndarray, sample_rate):
    audio = audio.astype(np.int16)  # Converting to int16 type for WAV format
    with contextlib.closing(wave.open(path, 'wb')) as wf:
        wf.setnchannels(1)  # Mono channel
        wf.setsampwidth(2)  # 16 bits per sample
        wf.setframerate(sample_rate)
        wf.writeframes(audio.tobytes())


def detect_speech_segments(audio_path, output_folder="output"):
    audio_to_wave(audio_path)
    pcm_data, sample_rate = read_wave("temp.wav")
    audio_np = np.frombuffer(pcm_data, dtype=np.int16)  # 将PCM数据转换为numpy数组
    frames = frame_generator(min_buffer_duration, pcm_data, sample_rate)
    segments = list(vad_collector(list(frames), sample_rate))
    merged_segments = merge_segments(segments)

    os.makedirs(output_folder, exist_ok=True)  # 确保输出文件夹存在
    for index, (start, end) in enumerate(merged_segments):
        start_sample = int(start * sample_rate / 1000)
        end_sample = int(end * sample_rate / 1000)
        segment_audio = audio_np[start_sample:end_sample]
        segment_path = os.path.join(
            output_folder, f"segment_{index+1}_{format_time(start)}-{format_time(end)}.wav")
        write_wave(segment_path, segment_audio, sample_rate)
        print(f"Speech segment saved: {segment_path}")


# 从命令行读取参数
if __name__ == "__main__":
    if len(sys.argv) != 3:
        print("Usage: python3 detect_talk.py <audio_file.wav> <output_folder>")
    else:
        audio_file = sys.argv[1]
        output_folder = sys.argv[2]
        detect_speech_segments(audio_file, output_folder)

以上代码,在当前目录执行detect_voice.py,将wav文件audio_file.wav抽取出说话的语音片段,存储在当前目录下output_folder目录中:

代码语言:txt
AI代码解释
复制
python3 detect_voice.py <audio_file.wav> <output_folder>

总结

Silero VAD以其卓越的检测性能、快速的处理速度、轻量化结构和广泛的适用性,在音频处理领域树立了新的标杆。通过本文的讨论与案例展示,我们不仅理解了如何有效地从复杂音频中提取人声说话片段的技术细节,而且可见利用这一技术在多样化应用场景中的巨大潜力。未来,随着技术进步,Silero VAD以及相关的音频处理技术将进一步推动智能语音分析领域的革新。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
vscode-go 远程开发添加golangci-lint支持
vscode对远程开发的支持可谓一骑绝尘。关于golangci-lint的支持方法,网上已经很多。但没有找到远程开发的配置,故摸索了一番。
超级大猪
2024/05/21
3260
vscode-go 远程开发添加golangci-lint支持
Flask 数据库相关
模型 这个术语表示程序使用的持久化实体。在 orm 中,模型一般是一个 Python 类,类的属性对应数据库表的类。 [当这个类的属性发生更改时,数据库也要迁移 ]
uniartisan
2022/03/02
1K0
Windows 文件管理 | 利用批处理实现一键将同名文件移动到对应文件夹
利用 for 语句提取文件名, 并利用 md 命令新建同名文件夹, 利用 move 命令将同名不同格式移动到同名文件夹中
怪兽
2022/10/04
1.3K0
ESP8266Web配网(连接wifi自动打开网页)
在应用到esp8266的场景,往往与wifi是离不开的,但用户的wifi账号密码又无从知晓,于是乎有了配网。 目前,市面上的配网方式多种多样,但其中博主觉得成功率最高,最方便的方式其实还是Web配网(个人看法),因为Web配网从根本来说就是esp8266开启一个web服务器,在此基础上进行信息交互(POST,GET),所以信息的传输较为稳定,配网成功率高。
怪兽
2022/10/04
2.5K0
ESP8266Web配网(连接wifi自动打开网页)
PHP实现简单注册登录详细全部代码
PHP实现登录注册的三个文件: index.php (首页) login.php (登录) register.php (注册) 相关代码 index.php代码:
幻影网络
2022/11/08
1.9K0
Linux | 文件权限管理
在Linu中<span style="color:#FF5252">文件或目录</span>一共有三种权限。
BreezeCloud
2022/10/04
2.3K0
丢弃花生壳,搭建自己的ngrok作为内网穿透服务器
公司没有公网,公司在二级路由下面(就是服务商没有给独立IP,也无法动态获取公网IP),然而公司在开发程序的时候,如对接微信等需要返回数据,或者需要别人能访问我们网址,一般我们就只能购买花生壳内网穿透,但是在使用中发现速度慢,经常掉。所以搭建自己的ngrok服务器来保证内网穿透。
幻影网络
2022/11/08
1.5K0
丢弃花生壳,搭建自己的ngrok作为内网穿透服务器
Manacher 算法
> 马拉车算法 Manacher‘s Algorithm 是用来查找一个字符串的最长回文子串的线性方法,由一个叫Manacher的人在1975年发明的,这个方法的最大贡献是在于将时间复杂度提升到了线性。
MashiroT
2023/03/14
2280
Manacher 算法
[NetWork] 华为设备常用命令配置
题记 该命令由本人收集记录摘抄,如需原件请联系我 /* ############################# &#x57FA;&#x7840;&#x547D;&#x4EE4;&#x7BC7; ############################# */ system-view /*&#x8FDB;&#x5165;&#x7CFB;&#x7EDF;&#x89C6;&#x56FE;*/ sysname [name] /*&#x4FEE;&#x6539;&#x8BBE;&#x5907;&#x540D;&
BreezeCloud
2022/12/04
2270
为Go编译后的文件添加图标和版本信息
成功则会在目录中生成一个resource.syso文件,只用生成一次,改变了json文件内容或图标的话,需要再次生成。
孤鸿
2022/10/04
9460
为Go编译后的文件添加图标和版本信息
CentOS 7搭建OpenV**
PS:目前openvpn服务器已经搭建完成了,但是有个问题,只要有上述三个证书文件和服务器IP信息,任何人都可以连接服务器,为了安全考虑,我们可以采取用户认证的方式管理,详情见:OpenVPN使用用户密码认证登录
孤鸿
2022/10/04
5200
OpenV**使用用户名密码验证
> 如果无法下载就把下面的内容拷贝到一个文件中,然后改名为checkpw.sh即可
孤鸿
2022/10/04
1.4K0
MYSQL(进阶篇)——一篇文章带你深入掌握MYSQL
那么优化自然是要针对SQL中性能较差的部分进行优化,因而这部分我们先讲解如何分析其性能差异
秋落雨微凉
2022/10/25
1K0
MYSQL(进阶篇)——一篇文章带你深入掌握MYSQL
MVCC 原理分析、MySQL是如何解决幻读的
还记得MySQL事务四大特性、并发事务问题、事务隔离级别吗?幻读又是什么呢?如果忘记可以到这里重新温习:MySQL基础:SQL分类DDL、DML、DQL、DCL;函数、约束、多表查询、事务、并发事务四大问题、事务隔离级别——脏写、脏读、不可重复读、幻读
寻求出路的程序媛
2024/05/22
8150
MVCC 原理分析、MySQL是如何解决幻读的
Mysql的MVCC——Mysql系列(五)
全称Multi-Version Concurrency Control,即多版本并发控制。它是一种并发控制的方法,它可以维护一个数据的多个版本,用更好的方式去处理读写冲突,做到即使有读写冲突也能不加锁。
翰墨飘香
2023/06/14
6730
CentOS7系统初始配置
初始化规则的意思是: 当超出了IPTABLES里filter表里的两个链规则(INPUT,FORWARD)时,不在这两个规则里的数据包怎么处理呢,那就是DROP(放弃).应该说这样配置是很安全的.我们要控制流入数据包 而对于OUTPUT链,也就是流出的包我们不用做太多限制,而是采取ACCEPT,也就是说,不在着个规则里的包怎么办呢,那就是通过. 可以看出INPUT,FORWARD两个链采用的是允许什么包通过,而OUTPUT链采用的是不允许什么包通过. 这样设置还是挺合理的,当然你也可以三个链都DROP,但这样做我认为是没有必要的,而且要写的规则就会增加.但如果你只想要有限的几个规则是,如只做WEB服务器.还是推荐三个链都是DROP. 注:如果你是远程SSH登陆的话,当你输入第一个命令回车的时候就应该掉了.因为你没有设置任何规则.
孤鸿
2022/10/04
3280
【MySQL笔记】正确的理解MySQL的MVCC及实现原理
MVCC 在 MySQL InnoDB 中的实现主要是为了提高数据库并发性能,用更好的方式去处理读-写冲突,做到即使有读写冲突时,也能做到不加锁,非阻塞并发读
全栈程序员站长
2022/08/12
8310
【MySQL笔记】正确的理解MySQL的MVCC及实现原理
干了三年Java后端,你竟然还不知道MySQL的四大隔离级别?
之前分析一个死锁问题,发现自己对数据库隔离级别理解还不够清楚,所以趁着这几天假期,整理一下MySQL事务的四大隔离级别相关知识,希望对大家有帮助~
Java程序猿
2021/02/20
5300
Spring事务专题(三)事务的基本概念,Mysql事务处理原理
我重新整理了大纲,思考了很久,决定单独将MySQL的事务实现原理跟Spring中的事务示例分为两篇文章,因为二者毕竟没有什么实际关系,实际上如果你对MySQL的事务原理不感兴趣也可以直接跳过本文,等待接下来两篇应用及源码分析,不过我觉得知识的学习应该慢慢行成一个体系,为了建立一个完善的体系应该要对数据库本身事务的实现有一定认知才行。
程序员DMZ
2020/08/06
4970
Linux | 用户管理
Linux是一个多用户操作系统,任何一个想要使用系统资源的用户,必须先向管理员申请账号,再以申请的账号进入系统。因此账号类型又被分为一下 两类:
BreezeCloud
2022/10/04
7K0
Linux | 用户管理
相关推荐
vscode-go 远程开发添加golangci-lint支持
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
本文部分代码块支持一键运行,欢迎体验
本文部分代码块支持一键运行,欢迎体验