海之滨云视频和流媒体技术

从部署到实践，即刻拥有你的专属龙虾助手

OpenClaw开发者专区🦞🦞🦞

自行/邀约他人一键搬运博客，享价值百万资源包

腾讯云自媒体同步曝光计划

往期视频·干货材料·成员作品 最新动态

腾讯技术创作特训营知识专栏

新邀入驻腾讯云开发者社区，福利多多！

在GB28181协议中，在实时音视频传输过程中，使用INVITE报文携带SDP（Session Description Protocol）信息。SDP信息描述了会话的属性和参数，包括媒体类型、传输协议、编解码器、网络地址等。下面是一个示例INVITE报文的SDP内容，并对其中的每一项进行详细解释：

国标GB28181协议客户端开发（四）实时视频数据传输

设备目录查询是GB28181协议中的一项重要功能。其通过查询设备目录，获取到当前系统中的所有设备信息。设备目录查询的信令交互流程如下：

国标GB28181协议客户端开发（三）查询和实时视频画面

在GB28181协议设备端的开发中，良好的程序架构设计是保证系统稳定性和可扩展性的基础。我们可以考虑以下方面：

国标GB28181协议客户端开发（二）程序架构和注册

GB28181全称是“公共安全视频监控联网系统信息传输、交换、控制技术要求”，它定义了视频监控设备之间的联网通信协议，旨在实现视频监控系统的互联互通和统一管理。而近些年来，随着视频监控系统的快速发展，GB28181已经成为事实上的IPC网络摄像头、NVR网络硬盘录像机等各种监控设备必有的标准协议。

国标GB28181协议客户端开发（一）整体流程和技术选型

在建立音视频通信之前，浏览器之间需要通过信令服务器进行一系列交互，以协商会话参数和通信方式。下面是 WebRTC 的信令交互过程：

网页端WebRTC推流转换为RTMP/GB28181等其他直播流协议

首先，PulseAudio跟ALSA不同的不同之处是，ALSA是内核级的，而PulseAudio则是用户层的服务，并且是作为Sound Server的形式，来管理应用程序的各种音频输入和输出，跟ALSA相同，大多数linux发行版都默认安装PulseAudio。我们这里的国产化芯片平台的银河麒麟自然也不例外。PulseAudio的结构图是这个样子的：

Linux音频采集和在国产化平台中遇到的坑（二）

虽然都是linux，芯片也是基于同样的架构，同样的指令集，但是考虑到芯片的实现毕竟是不同的，于是所有涉及到硬件交互的软件部分，也会有所差异，最终会导致了有些应用层面的接口，不能按照普通linux的通常用法去使用。

Linux音频采集和在国产化平台中遇到的坑（一）

本人的交叉编译平台是ubuntu 64bit，编译成动态库，然后让APP通过JNI来调用，跟其他程序的编译方式差不多。当然，首先需要系统内布置好NDK编译环境。Google提供了完整的编译工具链，也包括SDK，下载地址在这里：“NDK Downloads”。我在之前的一篇文章里也写了这部分，可以参考一下："NDK开发Android端RTMP直播推流程序"。

Android流媒体开发之路三:基于NDK开发Android平台RTSP播放器

其实之前我就已经开发过一个RTSP Server程序，并且写了一篇文章进行了介绍“一个RtspServer的设计与实现和RTSP2.0简介”,不过当时开发的目的除了实现RTSP直播以外，主要目的还是简化代码以方便定制，因此并没有完全实现RTSP协议里的所有交互细节，要在它的基础上扩展全面，可能会拖延项目进展。基于项目考虑，选择了自己比较了解也认为比较优秀的RTSP开源项目Live555作为基础，开发RTSP Server程序。

基于Live555实现RtspServer及高清高码率视频传输优化

　　RTMP（Real Time Messaging Protocol）是专门用来传输音视频数据的流媒体协议，最初由Macromedia 公司创建，后来归Adobe公司所有，是一种私有协议，主要用来联系Flash Player和RtmpServer，如FMS, Red5, crtmpserver等。RTMP协议可用于实现直播、点播应用，通过FMLE（Flash Media Live Encoder）推送音视频数据至RtmpServer，可实现摄像头实时直播。不过，毕竟FMLE应用范围有限，想要把它嵌入到自己的程序中，还是要自己来实现RTMP协议的推送。本人实现了一个RTMPLiveEncoder，通过采集摄像头视频和麦克风音频，并进行H.264和AAC编码，然后发送到FMS和crtmpserver上，实现实时直播，可以通过flash player正常观看，目前效果良好，延迟时间在2秒左右。本文就介绍一下RTMPLiveEncoder的主要思路和关键点，以期对需要这方面技术的朋友有所帮助。

C++实现RTMP协议发送H.264编码及AAC编码的音视频，摄像头直播

　　RTSP协议也是广泛使用的直播/点播流媒体协议，以前的项目里实现了一个RTSP协议转换RTMP直播协议的程序，为的是可以接收远端设备或服务器的多路RTSP直播数据，实时转换为RTMP直播协议，推送到NginxRtmp等RTMP服务器，可以在PC上实现flash观看RTSP直播源（比如IPCAM）的需求，也能通过Nginx的HLS协议转换，在手机上观看。实现的思路分享如下。

RTSP协议转换RTMP直播协议

基本上讲，它的播放功能是基于VLC，剪辑功能是基于FFmpeg，现在的功能还比较简单，当然我的目的也不是想做一个复杂的视频编辑器，那是专业软件的事情，就是想做一个简单又好用的剪辑工具即可。整体框架如下图所示：

[开源]基于ffmpeg和libvlc的视频剪辑、播放器

首先，为什么要用NDK来做，因为自己之前就已经实现过RTMP推流、RTMP播放、RTSP转码等等各种c++实现的流媒体项目，有很成熟的代码模块。既然Android有NDK，可以JNI的方式复用之前的成熟代码，大大拓展和加快项目实现，那为什么不这样去做呢。和其他平台一样，要实现采集摄像头推送直播流，需要实现以下几点

Android流媒体开发之路二:NDK开发Android端RTMP直播推流程序

对于大家经常见到和使用到的普通MP4来说，作为电影、电视文件的存储容器，是很好的，不过对于流媒体点播来说，最大的缺点就是它的媒体信息和关键帧索引都集中存放在moov box中，而导致越大的文件，moov box越大，对播放器来说，获取不到moov box，根本无从解码，所以就导致MP4文件点播，需要缓冲很久，加载头部数据。当然常见解决方案，就是文件切分，把大的MP4文件，切为小一点的MP4文件，这样每块的MP4的加载就会快很多，这个也是很多视频网站的解决方式，这样的切分也还好，分片数量不算很多。然而到了HLS时代，为了支持HLS协议，就需要把大的MP4文件，都转换为了更小的HLS-TS分片文件，这就出现问题了，服务器太多碎片一样的TS文件，难以管理，也影响性能。怎么解决呢？那就是虚拟HLS分片技术。

MP4大文件虚拟HLS分片技术，避免服务器大量文件碎片

  其实主要就是在不预览的情况下获取到摄像头原始数据，目的嘛，一是为了灵活性，方便随时开启关闭预览，二是为了以后可以直接对数据进行处理，三是为了其他程序开发做一些准备。于是实现一下几个功能：

Android流媒体开发之路一:Camera2采集摄像头原始数据并手动预览

　　RTSP协议也是广泛使用的直播/点播流媒体协议，之前实现过一个通过live555接收RTSP协议，然后转换为HLS(Http Live Streaming)直播协议文件的程序，为的是可以接收远端设备或服务器的多路RTSP直播数据，实时转换为HLS协议文件，以实现iPhone或iPad等设备观看RTSP直播源的需求。现在把实现的思路分享如下。

调用Live555接收RTSP直播流，转换为Http Live Streaming(iOS直播)协议

  很多地方都需要用到截屏/录屏技术，比如桌面直播，桌面录制等等。在微软Windows平台，有很多截屏的接口，不过大多数性能并不理想，Windows8以后微软引入了一套新的接口，叫“Desktop Duplication API”，应用程序，可以通过这套API访问桌面数据。而由于Desktop Duplication API是通过Microsoft DirectX Graphics Infrastructure (DXGI)来提供桌面图像的，速度非常快。由于是通过GPU，所以cpu占用率很低，性能很高。


DXGI快速截屏桌面直播技术

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

腾讯云开发者社区推出了海之滨云视频和流媒体技术专栏，为你提供了海之滨云视频和流媒体技术的相关文章，致力于帮助开发者快速成长与发展。

海之滨云视频和流媒体技术

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐