转载: http://msching.github.io/blog/2014/07/07/audio-in-ios/
前言 音频是移动端很重要的能力，像直播类、在线教育类、唱歌类、短视频类等APP，都离不开音频功能。 具备音频相关知识与能力，对未来的职业发展有很大优势。 本文主要围绕音频知识的基础——PCM，介绍PCM的原理和相关操作。 声音是模拟的连续信号，而计算机只能离散的存储。为了使得计算机具备音频的能力，必须支持连续音频信号的离散化描述，而PCM具备这个能力。 正文 PCM脉冲编码调制(Pulse Code Modulation） 脉冲编码调制就是把一个时间连续，取值连续的模拟信号变换成时间离散，取值离散的数
最近有个需求：对音频裁剪时，裁剪条的纵坐标必须是音频音量，以帮助用户更好的选择音频区域，所以就需要快速准确的提取出音频的音量列表。本文主要介绍下从mp4文件中提取音轨音量的方式，以及相关的知识点。
问题背景 QQ音乐Android端播放MV视频《凤凰花开的路口》时带有如电流声一般的杂音，影响用户的正常体验。 问题分析 在初步定位中，发现有如下特征： Android端杂音问题必现 iOS、PC端能
不久前，团队发现其Android平台App在播放MV视频《凤凰花开的路口》时，会带有如电流声一般的杂音，这影响了用户体验。
不久前，团队发现其Android平台App在播放MV视频《凤凰花开的路口》时，会带有如电流声一般的杂音，这影响了用户体验。 研发同学在初步定位时，发现有如下特征：
iOS/Android 客户端开发同学如果想要开始学习音视频开发，最丝滑的方式是对音视频基础概念知识有一定了解后，再借助 iOS/Android 平台的音视频能力上手去实践音视频的采集 → 编码 → 封装 → 解封装 → 解码 → 渲染过程，并借助音视频工具来分析和理解对应的音视频数据。
如果是 mp3、aac 等压缩音频，则需提前解码成 PCM 数据，Android 端可以通过 MediaExtractor 及 MediaCodec 解码得到 PCM 。
参考文章：https://blog.csdn.net/hesong1120/article/details/79043482
今天我们介绍一下如何在iOS进行AAC解码，并使用AudioUnit播放解码后的PCM数据。
前言 相关文章： 使用VideoToolbox硬编码H.264 使用VideoToolbox硬解码H.264 使用AudioToolbox编码AAC 使用AudioToolbox播放AAC HLS点播实现（H.264和AAC码流） HLS推流的实现（iOS和OS X系统） iOS在线音频流播放 Audio Unit播放PCM文件 Audio Unit录音（播放伴奏+耳返） 前面两篇介绍了Audio Unit播放PCM文件和边录边播，这次引入AudioConvert实现aac/m4a/mp
SDL 是一套跨平台的音视频播放框架，对齐了底层硬件的差异，开发者可以专注于音视频的处理，本文记录在iOS上使用SDL播放pcm音频裸数据的实现过程。pcm是音频的裸数据。 sdl编译：可以直接
JavaCV（Java interface to OpenCV, FFmpeg, and more）
iOS/Android 客户端开发同学如果想要开始学习音视频开发，最丝滑的方式是对音视频基础概念知识有一定了解后，再借助本地平台的音视频能力上手去实践音视频的采集 → 编码 → 封装 → 解封装 → 解码 → 渲染过程，并借助音视频工具来分析和理解对应的音视频数据。
前言 相关文章： 使用VideoToolbox硬编码H.264 使用VideoToolbox硬解码H.264 使用AudioToolbox编码AAC 使用AudioToolbox播放AAC HLS点播实现（H.264和AAC码流） HLS推流的实现（iOS和OS X系统） iOS在线音频流播放 Audio Unit播放PCM文件 Audio Unit录音（播放伴奏+耳返） Audio Unit播放aac/m4a/mp3等文件 Audio Unit和ExtendedAudioFile播放
Easy系列从开源到SDK组件，再到产品、解决方案、硬件，从2012年EasyDarwin开始，专注于流媒体音视频这一领域已经非常多年了，积累了丰富的行业经验，同时也积累了众多的产品，产品的名称非常多，为了让更多的同学能更好地了解Easy系列的方案，今天TSINGSEE青犀视频汇总了一下EasyDarwin开源社区提供的开源与免费的项目与产品：
直播间搭建的成功离不开基本的流媒体传输，随着网络技术的不断提高，对音视频传输的质量与速度要求也不断提高，想做好一套直播系统，推流与拉流的详细过程原理你都知道吗？
在了解 iOS Core Audio 相关技术的时候，会遇到 bitrate、sample、frame 和 packet 等概念。由于业界在不同场合下使用 packet 和 frame 等词语会代表不同的含义，一不小心，很容易被绕进去。 本文讲述了 iOS Core Audio 中常用的音频概念定义，然后介绍一些容易造成概念混淆的场景以及一个实践 demo 案例，最后解答一些常见的问题。 （一） iOS Core Audio 音频概念定义 讨论 iOS Core Audio，就要按照苹果的定义对音频相关概
项目中需要实现音频智能控制以及根据音乐转换色彩功能，WaveView 完全满足目前需求，完美实现需求，该库还有另外 WaveSurferView 和
| 导语 透过本文，全面了解 Android 系统音频录制技能，深入理解王者时刻为什么没有把环境音或者人声录制下来 一、音频量化 音频基础的文章很多，想要了解更多，请自行百度。这里重点关注 PCM 和采样率，因为目前遇到的音频问题都跟这两个有关。 接下来看一张经典的音频采样流程图： 以上就是计算机系统中的音频文件的生成过程：采样、量化、编码。 人耳所能听到的声音，最低的频率是 20Hz ~ 20KHZ，因此音频文件格式的最大带宽是 20KHZ。 根据奈奎斯特的理论，只有采样频率高于声音信号最高频率的
快直播传输层SDK自推出来，凭借其便捷接入方式和优异性能，得到快直播客户的肯定。经过2年多的技术积累、迭代、调优和打磨，开播成功率、首帧耗时、卡顿率等指标提升到了一个新的台阶，指标业界领先。越来越多的客户通过传输层SDK接入原有播放器，实现了直播业务的低延时升级。近期快直播传输层SDK2.0版本发布，推出了内部播控模式，进一步降低了接入门槛，增强低延时播放性能。本文延续《基于ijkplayer的快直播传输层SDK应用实践》，详细介绍2.0版本支持的SDK内部播控模式，及其框架和接入方式。
前言 相关文章： 使用VideoToolbox硬编码H.264 使用VideoToolbox硬解码H.264 使用AudioToolbox编码AAC 使用AudioToolbox播放AAC
上一篇我们了解了FFmpeg解码流程、关键函数和结构体，实现了视频解码器。这篇我们来实现下音频的解码器。解码流程和视频的基本一致。FFmpeg解码的音频裸数据是PCM格式，android上播放PCM音频数据可以通过AudioTrack和OpenSL ES来实现。
我是来自全民快乐的展晓凯，曾就职于淘宝开发机票搜索，在唱吧上线之初加入，经历了唱吧从上线到拥有4亿用户的整个过程，在此期间负责唱吧音视频的开发，其中涉及多个产品线，包括唱吧、唱吧直播间、火星等产品。目前在全民快乐负责直播产品线业务，主要面向海外市场。
大家好，本文是 iOS/Android 音视频开发专题 的第七篇，该专题中 AVPlayer 项目代码将在 Github 进行托管，你可在微信公众号（GeekDev）后台回复 资料 获取项目地址。
音频 API 提供基于我们的 TTS（文本到语音）模型的语音端点。它配备了 6 种内置语音，并可用于：
服务器接收到文件并进行语音识别，使用的是微软语音，只支持 PCM 数据源的 WAV 格式。
语音识别功能已经是一个很普及的功能，在特定情境下，能带给人们方便的交互的体验，比如驾驶时使用语音进行唤醒手机，各类智能音响产品，语音控制智能电视等。本文主要介绍在APICloud平台使用科大讯飞的SDK快速实现语音识别功能。
很多时候我们需要把一些图片、音频、视频上传到服务器，于是就有了文件压缩这个问题了,这篇文章就小结一下具体的文件压缩实现吧。
在ASOC在Platform部分，主要是平台相关的DMA操作和音频管理。大概流程先将音频数据从内存通过DMA方式传输到CPU侧的dai接口，然后通过CPU的dai接口(通过I2S总线)将数据从达到Codec中，数据会在Codec侧会解码的操作，最终输出到耳机/音箱中。依然已下图作为参考:
前言 使用VideoToolbox硬编码H.264 使用VideoToolbox硬解码H.264 这次在编码H.264视频流的同时，录制并编码AAC音频流。 介绍 自然界中的声音非常复杂，波形极其复杂，通常我们采用的是脉冲代码调制编码，即PCM编码。PCM通过抽样、量化、编码三个步骤将连续变化的模拟信号转换为数字编码。 抽样：对模拟信号进行周期性扫描，把时间上连续的信号变成时间上离散的信号； 量化：用一组规定的电平，把瞬时抽样值用最接近的电平值来表示,通常是用二进制表示； 编码：用一组二进制码组来表示每
上图红框内为编译选项，编译选项支持编解码的格式、封装的格式及网络协议等等第三方包。其中比较常用的：
在 ffmpeg 命令中 , -aframes 参数用于设置 要输出的 音频帧 帧数 , 通过该参数 设置 一个 指定的 音频帧数 , 输出完 该 指定音频帧数 的 音频帧 之后 , ffmpeg 将会停止处理音频流 , 通过该参数 可以 精确控制音频输出长度 ;
正常播放器会没法识别播放（因为不知道声道数，采样率等信息）。一般要这样做：正常需要在编码每帧数据后，结合编码后的数据生成 ADTS 头，然后将 ADTS 头 + 编码后的数据 整体写入文件，循环往复，才能生成可正常播放的 .aac 文件（当然也可以是：1 个 ADTS + 多帧编码数据 这样的组合）。
音视频处理在现代多媒体应用中起着重要的作用。C++是一种强大且广泛使用的编程语言，提供了许多用于处理音频和视频数据的库和工具。本文将介绍C++中常用的音频和视频编码解码技术，以及相关的库和工具。
PCM 全称 " Pulse Code Modulation " , 脉冲编码调制 , 该 音频数据 是未经压缩的 采样裸数据 , 只有 知道该数据的 采样率 / 采样位数 / 通道数 才能将该音频数据播放出来 ;
参考文章： https://blog.csdn.net/xiaolong1126626497/article/details/104916277
虽然都是linux，芯片也是基于同样的架构，同样的指令集，但是考虑到芯片的实现毕竟是不同的，于是所有涉及到硬件交互的软件部分，也会有所差异，最终会导致了有些应用层面的接口，不能按照普通linux的通常用法去使用。
语音识别功能提供面向移动终端的语音识别能力。它基于华为智慧引擎（HUAWEI HiAI Engine）中的语音识别引擎，向开发者提供人工智能应用层API。该技术可以将语音文件、实时语音数据流转换为汉字序列，准确率达到90%以上（本地识别95%）。
由于新冠疫情的影响，视频会议和线上教育迎来了飞速的发展。而让这一切成为现实的基础就是实时音视频通讯技术，但在实时音视频通讯过程中，会面临各种各样的问题，有可能是网络问题，也有可能是产品问题，在一定程度上左右了用户体验（QoE）。尽管服务质量（QoS）是一个产品或者服务非常重要的参考标准，但是对于用户而言，他们更关心是 QoS 指标。
项目Github地址：https://github.com/alsa-project/alsa-lib
iOS/Android 客户端开发同学如果想要开始学习音视频开发，最丝滑的方式是对音视频基础概念知识有一定了解后，再借助 本地平台的音视频能力上手去实践音视频的采集 → 编码 → 封装 → 解封装 → 解码 → 渲染过程，并借助音视频工具来分析和理解对应的音视频数据。
项目主页下载地址:https://www.alsa-project.org/wiki/Main_Page
由于底层识别使用的是pcm，因此推荐直接上传pcm文件。如果上传其它格式，会在服务器端转码成pcm，调用接口的耗时会增加。
如果是在其他发行版linux系统上或者需要在嵌入式linux系统上使用alsa-lib库，可以下载alsa-lib源码包，自行编译。
本篇开始讲解在Android平台上进行的音频编辑开发，首先需要对音频相关概念有基础的认识。所以本篇要讲解以下内容：
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
