腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

综合排序丨最热优先丨最新优先

音视频技术基础（一）--音视频技术概念基础

最近开始学习TRTC实时音视频技术，我会记录并分享我的一些学习心得和体会，欢迎各位大佬来一起交流指正。在开始正式学习TRTC之前，还是需要先了解一下音视频技术，这样可以方便以后的学习。 音视频技术介绍什么是音视频技术？音视频技术其实就是音频技术和视频技术的一个统称，在技术处理上，其实音频和视频是要分开处理的。 音视频同步的算法如下图所示： image.png 流媒体协议通常音视频数据体积比较大，所以在网络传输过程中都是连续不断的多媒体流量，在网络中传输音视频数据的技术叫流媒体技术，传输使用的协议就是流媒体协议总结以上是我整合了一些其他大佬的资料和一些自己的理解写出的知识点，音视频技术涵盖的内容其实比较广泛的，我这里也仅仅是列出了一些基础的概念，后续的TRTC学习之旅，有机会的话，我们继续探讨一些其他的知识第一次写文章，有技术上或是文字上的错误，欢迎各位大佬来指正。修正和补充 2020-06-17 补充了GOP对画质的影响；

黑眼圈云豆

2020-07-07

6K0

标签:

音视频技术图谱

PS: FFmpeg是一个涉及所有音视频处理的环节，放哪也不合适，所以就在图中间了采集 音视频的采集，主要的硬件设备集中在摄像头和麦克风。摄像头用来采集图像数据，本质就是图片。传输说到传输，指的是通过网络传输音视频数据，我们把网络想象成现实世界中的公路，音视频的传输比作寄快递。那么，这个过程主要两个子过程，一个是对快递的打包，一个是选择哪一家快递。播放器的功能，主要就是要将解码后的音视频数据的呈现。比较知名的播放器有，vlc，mplayer。 ? 后期的处理（1）存储对于音视频文件后期的处理，笔者将其分为两大类，一类是音视频文件的存储。（2）处理关于处理，一般是指根据音视频文件提取信息，如人脸识别，如边缘检测等技术，比较有知名度的就算OpenCV了。除此之外，还有针对视频的游戏额处理，比如加字幕，加个滤镜等等功能。也许可能真的如此吧，但是随着5G技术的不断成熟和落地，未来视频在空间上的扩展依然有很大的想象空间。VR/MR/AR在未来一定也是大有所为的空间和战场。

视界音你而不同

2020-04-09

1.8K0

标签:

音视频技术(6)-iOS音视频同步

音视频同步播放流程网上绝大多数代码都是参照ffplay来实现的，下面按照接入流程一步步讲解如何实现iOS平台上音视频同步 iOS接入ffmpeg和SDL可以参考前面的文章，本文不做赘述。打开流并解析音视频帧注意几点 1.新版本ffmpeg里，新增api,avcodec_parameters_to_context(...)用来获取解码参数 2.新的解码方法，和渲染的api 视频解码需要将pts自然数转成秒值，以和音频同步，音视频同步有多种方法，基于人对声音比较敏感，一般采用视频同步到音频。可以参考前面音频和视频渲染讲解，没有复杂之处本篇文章花的时间较长，反复研读代码才基本明白是怎么回事，想要再进一步理解，还得去读ffmpeg的源码实现，当前阶段先不做深入了解，比这更重要的是把整个音视频处理大的流程和基本原理磕清楚 音视频处理确实涉及的技术比较深，与笔者当前的工作并不match，只能在不多的休息时间里再挤一点时间，日拱一卒去学习钻研，加油。

2020-03-27

2.7K2

标签:

音视频直播--技术架构

前言今天和大家讲一下音视频直播技术架构。之前的关注点主要放在客户端如何采集音频数据上，经过这两天的思考，我觉得应该先给大家讲一下音视频直播技术架构，这样更容易从整体上理解视频直播技术是如何运转的，之后再逐步的介绍每一个主题。接收端向信令服务器发指令，获取共享者共享的流名称，然后通过流名称从CDN网络拉取音视频流，再经过解码后渲染在屏幕上。实时交互的音视频直播架构 ? 客户端通过 UDP 进行数据传输，这样可以大大减少由于网络及CDN结构导致的音视频延迟问题。共享者共享音视频时，都是通过UDP协议上传到自有网络服务器上。共享者的音视频数据上传到自有网络后，还要通过专门的服务将数据流转成RTMP流推到CDN网络，这样对于大多数不参与时实互动的用户就可以从CDN获取数音视频数据了。

音视频_李超

2020-04-02

3.3K0

标签:

音视频模块技术图谱

专注音视频领域，我们要知道音视频领域有多少技术分支，确定好学习的方向，然后调整自己的学习节奏和学习方法，尽快掌握这些知识。上面是总结的音视频领域的知识图谱，不一定全面，但是现阶段掌握这些知识绝对可以成为音视频领域的专业人士，本人也正在努力中，接下来的分享，必定按照图谱上面的脉络开展，力求在分享的过程中学习，在学习的过程中分享 5G时代来临，音视频绝对是一个非常有前景的方向，我们做技术当然不能只追求热点，根据自己的爱好，跟着自己的内心，寻找未来的方向。

2020-12-11

8370

标签:

音视频防爬技术

小编团队多年的技术服务中沉淀了一些音视频加密的经验，对于在线教育平台的音视频加密提供一些知识了解和交流 音视频的加密分不同的平台，网站、app、微信、小程序等不同的平台加密也略有不同。

2018-08-14

1.3K0

标签:

音视频直播技术漫谈

直播前言今天的给大家简单的介绍一下音视频技术主要应用于哪些产品，以及这些产品都涉及到哪些技术，并简单讲一下每种技术的难点，最后我想谈一谈音视频直播的未来。其实音视频直播技术不光应用于这类泛娱乐直播，还有很多其它类型的直播，如音视频会议、教育直播等，这两种我们称之为实时互动直播。泛娱乐化直播主要有音频，视频，聊天，打赏等功能。所以说，实时互动直播泛娱乐化直播技术门槛高了好几个级别。技术漫谈下面我们来讲一下音视频直播都用到了哪些技术。说到音视频直播技术，我们最先想到的是音频技术和视频技术。 音视频使用的压缩技术称为有损压缩技术。而像我们平RAR，ZIP工具进行的压缩都是无损压缩。就是说解压后的数据与原始数据一样叫做无损压缩，解压后和原始数据高度接近称为有损压缩，音视频编码属于后者。在当时来讲技术的门槛还是比较高的，既要解决音视频的问题，又要解决传输的问题，还要解决服务端高负载、大并发、高可用等问题，所以做一个音视频会议或实时互动直播的产品是非常麻烦的。

音视频_李超

2020-04-02

2.3K0

标签:

音视频技术的高光时刻: LiveVideoStackCon 2019上海 音视频技术大会

Mux 流媒体专家Phil Cluff在4月19、20日举办的LiveVideoStackCon 2019上海音视频技术大会中发表了主题演讲，并根据自己在大会中的所见所闻，对其它部分精彩内容进行了详细的分析与总结 mux.com/blog/highlights-livevideostackcon-shanghai-2019/ 上个月，我很荣幸地被邀请参加在上海举办的LiveVideoStackCon 2019 音视频技术大会并就如何设计出色的视频不得不说，这是一场由LiveVideoStack组织的专注于在线流媒体等音视频技术、服务与解决方案的饕餮盛宴。 LiveVideoStackCon 2019对我们——Mux与Demuxed会议的运营者来说是一个不错的能与音视频行业的优秀同仁沟通交流机会，因此我决定跨越大半个地球来到令人惊叹的上海参加这场技术大会。虽然我的中文不算出色，但凭借在音视频领域的多年耕耘与谷歌翻译的良好协助，我完全体会到了与会嘉宾和观众的热情以及音视频技术不断发展的澎湃动力。

2019-07-01

1.3K0

标签:

音视频技术基础（四）-- OpenGL

既然是学习音视频技术，那必然少不了渲染这个环节，OpenGL就是进行图形渲染的一个重要角色。 OpenGL会利用GPU进行并行的渲染处理，相比于CPU的串行处理而言，GPU并行处理可以大幅提升音视频数据处理速度，在现代的GPU中，已经实现了通用可编程的shader单元，这就是GPGPU技术。内心os：音视频技术这个坑真的是蛮深的。

黑眼圈云豆

2020-07-10

2.6K0

标签:

音视频技术（3）- 入门DEMO

image.png iOS对音视频的支持非常好，写个播放的demo，总共不到80行代码 #import "PlayViewController.h" #import <MediaPlayer

2020-03-27

1.3K0

标签: