介绍
终端 SDK 是腾讯云推出的音视频终端产品能力，包括视频编码、音频增强、视频增强3类功能 SDK，面向不同客户场景需求提供针对性的产品能力，支持移动端、Web 端、PC 端等多终端接入。
注意：
终端 SDK 为线下交付产品，SDK 包体和 API 内容请联系您的腾讯云商务和架构师。
终端视频编码 SDK
腾讯极速高清终端视频编码器是一款针对端侧低算力、低延迟、高画质场景研发的编码器。和硬件编码相比，优势在于：
1. 稳定可靠，启动快。
2. 同等画质下节省码率，提升传输的稳定性，节省下行分发带宽，节省存储成本等。
3. 同等码率下提升画质，提升用户体验。
4. 丰富的功能，满足业务多样化需求，如使用 ROI 编码提升人脸区域画质，动态调整编码配置适应网络波动等。
终端音频 SDK
客户端音频SDK提供音频编码和音频增强能力，实现包括自适应噪声抑制、声学回声消除以及自动增益控制等效果，可以显著提升音频质量、消除回声及噪声。
终端增强 SDK
客户端增强 SDK，基于高效的图像处理算法和AI模型推理能力，实现终端视频超分辨率、画质增强、插帧等功能。
极速高清终端视频编码 SDK
产品简介
和云点播、直播编码相比，端测编码需要采用不同的编码解决方案。
编码模式 | 云点播 | 云直播 | 端测编码 |
典型业务 | 腾讯视频、视频号等行业主流点播业务 | 视频号直播、腾讯体育直播等行业主流直播业务 | 腾讯会议、微信视频通话和5G远控等业务 |
延迟要求 | 追求极限压缩率，无延迟要求 | 追求高压缩率，允许秒级延迟 | 追求高压缩率同时要求零延迟 |
实时性要求 | 追求极限压缩率，无实时要求 | 允许多线程下多帧平均实时 | 要求单线程下编码实时 |
网络条件约束 | 编码过程与网络状态无关，编码配置固定 | 编码过程与网络状态无关，编码配置固定 | 编码过程与网络强相关，需要随网络状态动态调整编码配置 |
场景特点 | 1 -> N，无交互 | 1 -> N，无交互 | N < - > N，强交互 |
解决方案 | 服务端编码 | 服务端编码 | 终端编码 |
腾讯极速高清终端视频编码器是一款针对端侧低算力、低延迟、高画质场景研发的编码器。和硬件编码相比，优势在于：
1. 稳定可靠，启动快。
2. 同等画质下节省码率，提升传输的稳定性，节省下行分发带宽，节省存储成本等。
3. 同等码率下提升画质，提升用户体验。
4. 丰富的功能，满足业务多样化需求，如使用 ROI 编码提升人脸区域画质，动态调整编码配置适应网络波动等。
SDK 接入流程
1. 评估试用：客户提供系统平台和需求信息，申请产品体验。
系统平台：Android、iOS、Windows、macOS 等。
使用场景：直播、点播。
编码规格：编码格式、分辨率、帧率、码率、延迟要求等。
优化目标：码率节省、画质提升、CPU 节省以及相应的衡量指标（PSNR、SSIM、VMAF 等）
2. 开发集成：集成测试版 SDK 到 App，效果评测和定制优化。
根据客户效果评测结果和具体业务场景需求，提供深度优化支持。
3. 上线发布：申请 License，集成带 License 授权的正式版 SDK，测试和上线发布 App。
License 临期或过期后，可再次申请 License 续期。
SDK 集成
视频编码 SDK 为 C/C++/汇编实现，为各系统平台提供统一的 C 接口。
Android
● 提供 armv7、armv8 版本动态库，应用程序通过 NDK 方式集成。
● 提供 Java 接口封装，接口与 Android 硬件编码 MediaCodec 基本一致，方便平行替换 MediaCodec。
iOS
提供 armv8、x86_64 版本 xcframework。
macOS
提供 armv8、x86_64 版本 framework。
Windows
提供 x86、x86_64 版本动态库。
视频编码基本流程
极速高清终端音频 SDK
产品介绍
客户端音频 SDK 提供音频编码和音频增强能力，可以显著提升音频质量、消除回声及噪声。
各版本具体功能详情如下：
功能点 | 标准版 | 专业版 | 旗舰版 |
声学回声消除 | 支持 | 支持 | 支持 |
自动增益控制 | 支持 | 支持 | 支持 |
自适应噪声抑制 | 支持 | 支持 | 支持 |
回声消除音乐模式 | - | 支持 | 支持 |
音量均衡 | - | 支持 | 支持 |
AI智能降噪 | - | 支持 | 支持 |
音频编码 | - | - | 支持 |
AI Codec | - | - | 支持 |
实时通信音频 3A
音频3A技术是声音信号处理中的一组基础功能，常用于实时通信系统，如视频会议、通话、直播连麦等，以保障音频信号的高质量传输，提供更好的通信质量和音频听觉体验。3A分别代表自适应噪声抑制（Adaptive noise supperssion, ANS）、声学回声消除（Acoustic echo cancellation, AEC）以及自动增益控制（Automatic gain control）。
自适应噪声抑制（Adaptive noise supperssion, ANS）
ANS 主要功能是消除语音信号中的背景噪声成分、降低干扰，以提高语音可懂度和感知质量。基于加性噪声模型假设，麦克风采集到的音频信号可以看成是纯净语音信号和噪声干扰的叠加，通过对音频非语音段进行噪声跟踪估计，然后在语音段减去噪声成分能量，可以得到更清晰的语音信号。
声学回声消除（Acoustic echo cancellation, AEC）
AEC 主要解决音频通信过程中的回声问题。在通话过程中，扬声器播放的声音直接或者经过反射被麦克风采集，导致远端用户听到自己说话的声音，这会严重干扰通话质量。而AEC技术能根据远端参考信号对近端信号进行处理，有效消除或者降低这种回声现象，提升通话体验。
自动增益控制（Automatic gain control, AGC）
AGC 主要负责在音频信号传输过程中调整音量大小。当声源音量过低或者过高时，会显著影响通话体验，而AGC能够自动识别音频流响度，动态调节音量水平，使其始终保持在一个舒适的范围之内。AGC能够缓解由录音设备采集差异、说话人音量大小、距离远近等因素引起的音量不稳定问题。
使用场景
SDK 可以应用在推流上行音频编码预处理和拉流下行音频解码后处理，提升音质。目前支持 Android、iOS、Windows 和 macOS 客户端。
线上教学场景：消除噪声和回声，提升教学过程中声音的清晰度。
游戏内语音场景：音量均衡，将大小声做均衡处理，提升玩家听感和游戏体验。
直播场景：主播声音去噪和语音增益控制，在语聊、歌房等场景提升整体的直播质量。
SDK API 调用流程
极速高清终端增强 SDK
产品介绍
客户端增强 SDK，基于高效的图像处理算法和 AI 模型推理能力，实现终端视频超分辨率、画质增强、插帧等功能。
各版本具体功能详情如下：
功能点 | 标准版 | 专业版 | 旗舰版 |
标准超分辨率 | 支持 | 支持 | 支持 |
标准超分+增强参数 (对比度/色彩/亮度) | 支持 | 支持 | 支持 |
专业超分辨率 | - | 支持 | 支持 |
AI画质增强 | - | 支持 | 支持 |
AI插帧增强 | - | - | 支持 |
标准版的优势是性能，我们的算法能以极低的耗时和功耗实现较好的超分辨率效果。适配几乎所有性能的手机。
标准版里还提供了图像增强能力，可以调整图像的亮度、色彩饱和度和对比度。
专业版的优势是效果，它通过AI模型推理，能生成原图像缺失的纹理细节，实现最好的图像增强和超分辨率效果。专业版对设备算力有要求，建议只在中高端手机上使用。
产品性能
标准超分辨率
系统 | 设备型号 | 设备配置 | 基础超分参数 | CPU (%) | 内存 (MB) | 帧率 | GPU (%) | 耗电 (mAh) |
Android | HUAWEI Mate50
（2022） | 芯片：骁龙8+Gen1
CPU：3.0 GHz
GPU：Adreno 730
电池：4272.8mAh | 720P-关 | 2.8 | 48 | 59.9 | 5 | 138.01 |
| | | 720Px1.5倍 | 3 | 64 | 60.4 | 10 | 196.55 |
| | | 576Px1.25倍 | 3 | 60.1 | 59.9 | 7 | / |
| | | 4Kx1.25倍 | 3 | 163.2 | 59.9 | 46.4 | / |
Android | Sony Xperia 5 II
（2020） | 芯片：骁龙865
CPU：2.84 GHz
GPU：Adreno 650
电池：3104mAh | 720P-关 | 1 | 135.9 | 59.1 | 4 | 133.78 |
| | | 720Px1.5倍 | 2 | 146.8 | 59.2 | 10 | 152.41 |
| | | 576Px1.25倍 | 2 | 139.2 | 59.2 | 6 | / |
| | | 4Kx1.25倍 | 2 | 311.2 | 59.2 | 46.7 | / |
Android | 小米6
（2017） | 芯片：骁龙835
CPU：2.45GHz
GPU：Adreno 540 | 720Px1.5倍 | 2.9 | 119 | 60 | 18.9 | / |
Android | Redmi Note 4
（2016） | 芯片：联发科 MT6797 Helio X20
CPU：mt6797 2.0GHz
GPU：ARM Mali-T880 | 720Px1.5倍 | 9.4 | 137.9 | 60.6 | 74.5 | / |
Android | 荣耀8青春版
(2016，千元机) | 芯片：海思麒麟655
CPU：hi6250 2.3GHz
GPU：ARM Mali-T830 | 720P-关 | 2 | 77 | 58.8 | 不支持 | / |
| | | 720Px1.5倍 | 2 | 83.4 | 58.1 | 不支持 | / |
iOS | iPhone 13
（2021） | CPU：3.23GHz
GPU：四核
电池：3065.65mAh | 720P-关 | 5.9 | 54.4 | 59.5 | 15.9 | 64.99 |
| | | 720Px1.5倍 | 6 | 63.8 | 59.5 | 24 | 88.29 |
| | | 576Px1.25倍 | 4.7 | 57.3 | 59.5 | 18.9 | / |
| | | 4Kx1.25倍 | 9.2 | 162.2 | 59.5 | 60.6 | / |
iOS | iPhone 6P
（2014） | CPU：Apple A9
GPU: PowerVR GT7600 | 720P-关 | 13 | 40.5 | 59.5 | 22.8 | / |
| | | 720Px1.5倍 | 18.8 | 49.4 | 59.6 | 50.2 | / |
专业超分辨率
系统 | 设备型号 | 设备配置 | 专业超分参数 | CPU (%) | 内存 (MB) | 帧率 | GPU (%) | 耗电 (mAh) |
Android | HUAWEI Mate50
（2022） | 芯片：骁龙8+Gen1
CPU：3.0 GHz
GPU：Adreno 730
电池：4272.8mAh | 720P-关 | 3 | 66 | 60 | 3 | 138.01 |
| | | 720Px1.5倍 | 13 | 123 | 48 | 10 | 342.9 |
| | | 576Px1.25倍 | 13 | 105 | 60 | 7 | 333.13 |
| | | 540Px2倍 | 13 | 105 | 60 | 11 | 322.73 |
Android | Sony Xperia 5 II
（2020） | 芯片：骁龙865
CPU：2.84 GHz
GPU：Adreno 650
电池：3104mAh | 720P-关 | 1 | 142 | 59.1 | 3 | 133.78 |
| | | 720Px1.5倍 | 13 | 196 | 39 | 8 | 294.06 |
| | | 576Px1.25倍 | 13 | 148 | 58 | 8 | / |
| | | 540Px2倍 | 13 | 159 | 40 | 7 | / |
iOS | iPhone 13
（2021） | CPU：3.23GHz
GPU：四核
电池：3065.65mAh | 720P-关 | 6 | 73 | 60 | 14 | 64.99 |
| | | 720Px1.5倍 | 15 | 94 | 40 | 14 | / |
| | | 576Px1.25倍 | 10 | 84 | 60 | 16 | / |
| | | 540Px2倍 | 9 | 76 | 60 | 21 | / |
AI 画质增强
系统 | 设备型号 | 设备配置 | 专业增强分辨率 | CPU（%） | 内存 (MB) | 帧率 | GPU (%) |
Android | HUAWEI Mate50
（2022） | 芯片：骁龙8+Gen1
CPU：3.0 GHz
GPU：Adreno 730
电池：4272.8mAh | 720P | 13 | 140 | 55 | 7 |
| | | 576P | 13 | 126 | 74 | 5 |
| | | 540P | 13 | 130 | 78 | 7 |
Android | Sony Xperia 5 II
（2020） | 芯片：骁龙865
CPU：2.84 GHz
GPU：Adreno 650
电池：3104mAh | 720P | 13 | 184 | 41 | 5 |
| | | 576P | 13 | 174 | 59 | 5 |
| | | 540P | 13 | 142 | 43 | 4 |
iOS | iPhone 13
（2021） | CPU：3.23GHz
GPU：四核
电池：3065.65mAh | 720P | 17 | 91 | 40 | 11 |
| | | 576P | 12 | 70 | 60 | 11 |
| | | 540P | 9 | 68 | 60 | 11 |
使用场景
1. 终端播放器增强，提高视频播放的画质、流畅度体验。
2. 节约成本，降低视频分发的分辨率和码率，再通过终端播放增强来减小体验损失。
例如，云游戏场景，利用端上实时视频超分辨率的能力，可以降低云端渲染和编码的算力，并且节省传输带宽，节约成本。如下例子，云端传输720P(5.6Mbps)的游戏画面，在终端播放实时超分到1080P，观看效果接近云端传输1080P(8.2Mbps)的画面，节省30%带宽。
SDK 集成
兼容性
Android 平台：适用于 Android5.0以上（API 21，OpenGL ES 3.1）。
iOS 平台：适用于 iPhone 5s及更高版本的设备，最低系统版本为 iOS 12。
包大小
标准版：Android AAR约 0.3MB（arm64-v8a），iOS Framework 0.4MB。
专业版：Android AAR约 2.1MB（单 arm64-v8a 架构），iOS Framework 1.9MB。
接入指引
终端 SDK Demo 体验
用 Android 手机浏览器打开，下载安装。
进入后可选择需要体验的 SDK 功能。
终端视频编码 SDK
体验终端视频编码 SDK，可以选择示例视频进行查看，也可选择本地视频。支持对视频重新设置参数，对比不同参数下的效果。
终端音频 SDK
体验终端音频 SDK，可以选择示例音频进行查看，也可选择本地音频进行处理。支持测试自动增益控制、自适应噪声抑制、AI 降噪、音量均衡、音频增强。
终端增强 SDK
体验终端增强 SDK，可以选择示例视频进行查看，也可选择本地视频。支持对视频重新设置参数，可选择多种视频超分算法进行效果对比。
