技术路线 | 客户想在三维场景里面看视频融合，我怎么办？视频融合

“ 本文对AR全景监控的三维视频融合技术路线进行探索，只是属于初步研究，供大家参考。”

（来自互联网）

由于工作的需要，需要对三维视频融合技术路线进行研究。

虽然市面上有成熟技术和产品，但是老板让从自研的角度进行分析，主要还是想掌握一些技术，并且在现有产品的基础上快速实现。

视频融合技术简介

在视频监控领域，三维地图和视频监控的融合度不高，一般都是通过图标点击弹出视频的。客户往往想直接基于三维模型看到道路实时视频。

三维视频融合技术，针对传统视频监控现状和问题，给出目前此类需求的解决方案。

该技术一般都是基于虚实融合、三维动态等技术，实现三维场景实时动态可视化监控。这样做的目的是更有效地识别、分析、挖掘海量数据的有效信息服务，这个已经成为视频监控平台可视化发展的趋势和方向之一。

三维视频融合技术是虚拟现实技术的一个分支，或者说是虚拟现实的一个发展阶段。

三维视频融合技术指把一个或多个由摄像机图像序列视频和与之相关的三维虚拟场景加以匹配和融合，生成一个新的关于此场景的动态虚拟场景或模型，实现虚拟场景与实时视频的融合。

这种融合不会随着对三维模型的倾斜、旋转等操作而产生错位，充分发挥出三维场景的直观特点。

视频融合技术简单来说，就是通过对监控视频数据流提取视频帧并将其投射到三维空间场景里，实现视频数据与三维场景数据的全时空立体融合，改变了地图应用只能静态展示的传统模式，将部署在不同地理位置的多路实时监控视频与监控区域的三维模型进行配准融合，生成大范围、三维全景动态监控画面，实现监控区域整体安全态势的实时全局掌控。

平台需求

1、视频接入和控制要求

 （1）支持接入国标和Onvif协议；

 （2）支持视频转发、支持视频编解码服务；

（3）对于球机设备，必须支持前端设备姿态调整指令

2、视频播放需求

（1）支持视频融合实时播放流和回放功能；

（2）可以同时播放12路以上；

（3）非flv编码需要提供前端播放组件

3、提供其他应用的调用

（1）直接调用组件播放；

（2）点击后，切换到我们的客户端进行播放

方案设计

1.系统设计

根据要求，采用视频服务平台为核心的设计，平台包含两部分：视频综合平台服务器、流媒体服务器。 

其核心是负责接入前端设备，对前端的视频可以进行转发、解码等处理，同时可以提供API接口、开发控件，提供给三维视频引擎、以及其他应用程序调用。

如下为系统的方案设计图：

2.产品实现方案

通过视频综合平台服务，可以实现接入多路支持国标流和onvif协议的视频，也可以通过SDK接入一些私有码流，可以是网络摄像机（比如球机），以及DVR/NVR等设备。

通过流媒体服务器，可以提供视频的转发、录像、回放处理等。

视频客户端可以实现视频的解码播放、录像回放，以及球机的PTZ等姿态调整、镜头控制等。

客户端还可以提供各种格式的媒体流，包括flv、hls、webrtc、rtmp、rtsp等，并进行播放。

提供视频监控客户端和API接口、视频播放组件，可以提供给上层进行调用，播放不同格式的视频流，包括flv、hls、webrtc、rtmp、rtsp等。

3.技术路线

第三方3D引擎(例如Three.js)，由 Three.js创建外部渲染模型，利用HTML5中video的特性，以动态纹理的方式实时动态的显示监控视频，然后将外部渲染模型以接口导入到三维场景中。

此时视频的特征点有虚拟场景的特征点存在些许的差距，需要用户手动微调，从而获得最佳视角下的最好视觉效果。

平台中视频与实景三维模型融合技术需要经过后台视频配准和前端视频融合显示两个流程得以实现。

后台视频配准对视频数据进行预处理，并进行几何校正、噪声消除、色彩和亮度调整、配准、裁剪有效区域等。

前端视频融合显示阶段则进行视频融合投影操作，基于视频与三维场景之间的空间位置关系、用户视角、相机视角，并根据透视投影算法进行投影计算，从而实现在三维实景模型上无缝投射视频图像。

当用户视角发生改变时，通过特有的算法实现视频渲染，并且随着用户视角变化而变化，从而避免画面出现畸变的情况。

视频接入

接入方案包括前端设备联网接入和平台间的联网接入，视频资源在接入后都需要挂载到相应目录下。

本文主要探讨视频设备接入。

视频设备接入包括对新建设备和已建设备的设计考虑，新建的监控设备均应采用GB/T28181-2016国标协议接入视频系统，已建的存量视频监控设备，首先考虑采用GB/T28181-2016国标协议接入，并兼容GB/T28181-2011旧版本国标协议接入，其次考虑采用ONVIF协议接入，也可以根据点位实际重要性，点位改造替换或者采用SDK开发接入。

1. GB/T28181-2016国标协议接入

对于新建的或原有无视频平台的前端视频设备，满足《公共安全视频监控联网系统信息传输、交换、控制技术要求》（GB/T28181-2016）的前端视频设备应采用国标规定的接入方式进行接入。

2. Onvif协议接入

对于不符合GB/T28181-2016国标协议要求，但符合Onvif协议（开放型网络视频接口协议）的前端视频设备，平台支持通过Onvif协议实现视频设备接入。

3. 设备SDK接入

对于不符合GB/T28181-2016国标协议和Onivf等标准协议的前端视频设备，采用设备SDK开发接口和协议接入，通过调用设备前端SDK，实现兼容接入至本平台。

结语

目前来说视频融合技术的难点在前端视频展示方面，当三维视觉角度发生变化时，想要的视频也需要变化，这个算法做的不好，会发生畸变。