董燚：小程序音视频典型应用场景剖析

本文首发在腾讯云开发者社区，未经许可，不得转载。

腾讯视频云高级产品经理

自我介绍

我叫董燚，是腾讯云视频的产品经理。先后就职于乐视云、腾讯云。进入乐视之后，我发现乐视是一家PPP公司，两年的时间，一年开100多场发布会。我的老板不太热衷于做视频，他热衷于做汽车。我也追寻我的梦想，所以就来到了腾讯云，在腾讯云主要负责两款产品，一个是移动直播，一个是小腾讯云视频解决方案。

我的日常工作，包括产品日常运营、新产品的建设以及去思考我们腾讯云的PaaS平台能力，怎么跟业务深入结合，并且实现落地。

为什么会出现小程序音视频？

从两个方面来说。我们来看网络上的信息的传递形式，从最初的文字+图片的形式，过渡到语音，再到现在的视频。视频可以说是一个立体化的信息的展示，它是全方面的展示。咱们日常生活中，一些娱乐的时间，可能都被短视频占领了。现在的抖音已经形成了一种文化，每天抖音上的小哥哥、小姐姐，都跟我们深入地去交流。

再说到小程序，小程序是一种表达方式，小程序正好是所有信息的一个载体。小程序都有什么优势？从三个方面解读：

首先小程序的体验更优，相对于H5来说，体验更优，就会有更多的转化率，更多的用户沉淀下来。我经常打开一个H5的页面，发现产品在加载，这个过程只要持续两秒，我就会返回了。

价格优势 有量的优势。小程序的流量入口，通过什么样的途径可以进入到小程序中？第一个，首页下拉，会出现小程序列表，左滑，能够看到更多小程序，还有对话框，跟好友的聊天，会发现小程序的分享，点击进去，也能够进入一个小程序。还有公众号文章，里面可以嵌入小程序二维码。还有线下的小程序二维码，还有一个搜索。如果搜索相关的内容，有相关小程序被应用，你会发现它会是视频的。微信码会开放，小程序码会支持从其他各个APP直接跳入到小程序，小程序已经占领了微信的多个入口，除朋友圈之外。

分享的体验 分享体验的好坏决定了用户的触达。我们如果将一个小程序分享给我的好友，分享到一个群里，你会发现这个小程序占据的分享的窗口，是微信中最大的。相比分享一个朋友圈的文章，只占到小程序的三分之一左右。所以视频+小程序，它们应该是看对眼了。

视频+小程序能够带来什么？

我们认为它是一种高效的服务连接器，有这么一种形式的存在，企业可以更好地去连接到客户。当我用户需要跟客服发展一些交流的时候，经过小程序，通过在线视频的方式，实时地跟客服进行沟通，这个体验是非常高效的。

怎么实现音视频？如果我们自己实现这件事，难度非常大。从开发投入来说，可能音视频的开发占据整个开发的四分之一左右的人力资源，还有种种的困难。比如说画面的采集，我用手机采集一个画面，但是一定要要求好看，要求加一些美颜的效果，让别人看着我更好看，要去噪，去除背景音，要对抖动进行一些处理，还要将如此大的视频内容进行网络传输，对它进行压缩、编码，在播放端，为了使播放更加流畅，我们要进行一些缓冲的处理，进行一些流控的处理等等。

微信将音视频所需要的能力，为我们封装好了，这个过程是这样的。我们认为，音视频的核心的能力，可以分为音视频的上行和音视频的下行。音视频的上行，就是通过手机去实时地采集声音和画面，传输到我们的云端。这个过程，我们封装成了一个视频SDK。微信在此基础上，又封装成了一个小程序，可以通用的标签，就是Live pusher标签。开发者通过这个可以进行音视频的上行。音视频的下行，就是实时地从网络上获取到音视频的数据，我们也将它封装成了一个视频SDK。微信在此基础上，把它封装成了一个对外开放的Live plaer标签。

如果是你没有足够的音视频后台，没有云端功能提供，你是完成不了这样的任务。比如说拿直播举例，我做一场直播，我能把流推出去，但是怎么处理，它能够并发100万的播放。如果用腾讯云，腾讯云就像一个放大器，能够把你的视频直播的内容分发到世界各个角落。

我们的小程序解决方案，根本上就是解决了从端到云端提供的一整套的解决方案，客户不用考虑整个音视频的处理，他主要集中精力完成他的业务部分就好了。

这是我们在思考小程序怎么能和行业做一个紧密的结合。从行业的视角来看这件事，我们希望把一些客户需求沉淀到我们的解决方案中。因为很多场景需求，不可能要求微信帮你沉淀下来，微信只能提供基础的。这里举一些场景的例子，比如说教育场景现在是非常火的，它会有一些客人，比如说小单课，基于10人左右的老师在线，给学生授课的场景。简单的直播可以解决问题，客户接着会提出一个问题，我需要学生跟老师做在线交流，学生可以实时地提问，老师要实时地回答。大型的公开课，除了正常直播之外，可能还会有需求。能不能实时看到，实时收到一些文件。

他们都需要多人的互动，这种互动可能是指连麦以及IM的交流。我们还需要把直播的内容录制下来，转成点播，以便事后大家再去观看。

对于端的支持来说，客户需要覆盖到各个端，PC端、小程序、H5，它要覆盖到各个层级的用户，多终端的一些要求。

支持画笔。老师进行音视频教学的时候，能够在我的材料里做实时标记，让学生能够看到。

我们接到这些需求之后，我们希望我们能够沉淀下来一些通用的需求，提供给我们的开发者，这是我们的一个解决思路。

我们会把这部分能力，包括这么一个行业解决方案，沉淀成一个Demo，我把这些Demo的原码提供给大家。我们沉淀下来的能力，比如说刚才提到的多人连麦、IM聊天室、文件共享、视频录制等等。

所谓的一体化解决方案，开发者需要这些能力，直接找到我们的解决方案，不用再去对接其他的服务了。需要的需求，在我们这儿都能得到满足。

小程序音视频的业务传播路径

直播

虽然直播的热度有所减，但还是神一样存在的。小程序做直播，技术上没有障碍，但是微信在把控这件事。因为做直播需要一些资质，如果有这些资质的话，是可以通过小程序发起一场直播，也可以作为观众通过小程序观看直播。

在线游艺场景

正常来说，更多的观众只是观看别人在抓娃娃，有一些交互，有一些IM的沟通，可能是好友之间有这么一种氛围。当我要成为一个操作者的时候，这时候就需要我更低的延时，因为我不能接受，我成为操作者之后，有2到3秒的延时，这个是接受不了的。我们用了低延时，来处理这件事。

在线医疗

在线医疗有几个典型的场景，一个是在线问诊，现在用户咨询的需求越来越多，但是我不是随时有时间去医院，去医院流程非常繁琐，有没有一种方式？在线和医生进行深入交流，把我的病情通过视频，可以解决一些初步的问题。并且如果我是一些慢性病，或者是我的病情已经是确诊的，需要继续开药什么的，这都可以通过在线的方式去实现。

现在医院发展都很快，医院也是在不断地开分院。我们住院的时候，就会知道，每天早上某一个时间，都会有医生来给你做一个查房复诊，但如果是在异地，医生还要跑过来，这就非常不方便。我们就可以用小程序实时的，多人问诊，解决这个问题。

在线客服的场景很多，比如说我是一个滴滴用户，我有一天碰到了一些事情，我需要给滴滴客服进行投诉，这时候我可以通过小程序作为一个入口，跟客服进行实时交流。现在沉淀下来的需求，除了和医生沟通之外，还需要其他能力的补充。我们还需要叠加一些，比如说文件实时共享的功能，实时IM的功能。

这是我们的产品理念，简单极致。

在线车险理赔的业务场景模式

这里详细给大家描述一个，我们会做在线车险理赔的业务场景模式，怎么去思考，怎么去解决问题的，怎么呈现一个解决方案的。

车险理赔的痛点中，当我不小心在路上和别人发生了刮蹭，对于老司机来说，可能开车时间不会发生这种意外，但是毕竟有一些新手，尤其是传说中的女司机，可能拿车第一天就撞了。这时候需要打电话报警，客服人员接受单子，然后需要现场人员去查勘。假如在北京，你可能要等半个小时到一个小时，查勘现场之后，做的最核心的事，就是反馈定损金额，这是现场人员来到事故发生地，耗时2小时，做的唯一的一件事。然后剩下的事还得自己弄，要去找修车厂自己修车，拿着发票，事后再到某一个保险公司，把发票交上去，保险公司审核完之后，一个月之后，就能拿到赔偿金额。

有三大痛点：一个是流程太长；一个是低频，这是非常低频的场景；还有一个是体验非常差。无论是对于用户，还是于查勘人员来说。

我们想在线上完成这么一件事情，很容易联想到，我们要做一个APP解决这么一个事情。做APP是有问题的，大家知道APP现在的获客成本非常高，从几百元到一千元，上千元不等。如果用户没有装APP，你不能说发生事故的时候，我再现装一个APP，这个过程是非常痛苦的。这时候，我们希望用小程序能够解决掉这个痛点。

我们整理了三个核心的流程。第一个是报案，第二是查勘，第三个是赔付。

在报案环节，用户可能通过小程序，他要填写一些当时的信息，我的姓名，我的车牌号，事故发生的地点，事故发生的时间，事故发生的类型，是单车事故，还是双车事故，有没有人伤等等。如果有一些信息是固定的，可以自动获取信息，这样可以极大地减少用户操作。

报案完成之后，进行到第二步查勘，很正常的思路是，我可不可以拍个照片提交上去，但是这也是有问题的。因为图片是非常容易伪造的，很容易想到用实时视频解决这样的问题。报案成功之后，跟客服建立了实时视频的连接，客服可能会引导我对车辆进行检查。让他明确地知道，我的车辆损伤之后，立刻给我反馈一个结论出来，可能最直接的是反馈定损金额出来。

第三步是完成业务流程的闭环。通过微信实时到账，5分钟时间，到账微信零钱。

刚才已经做了一些优化，用户的操作已经极简了。但是他可不可以跳过这个操作，是没有问题的。因为我入选了之后，已经把我足够多的信息提供给你了。我能不能报案的时候，一键报案就好了。我的信息提交上去，地理位置信息自动获取，时间自动获取，用户点击一键报案就OK了。

坐席拍照 刚才说的理赔过程中，都是实时录制的，但是定损员真正处理一个case的时候，或者之后把证据保留的时候，更多是需要一张明确的图片，这是保险公司需要的。但是客户不知道怎么拍好这张照片，来回来去沟通很费时间。我们想到了一个解决方案，能不能从坐席端出发，让用户根据客服人员的引导，客服人员选到合适的角度，完成一个拍摄，是这么一个功能。

智能定损 用到车险智能理赔智能定损的一个系统。当我和用户实时视频沟通定损的过程，需要比较准确地输出一个金额。人工判断，一是很费精力，二是不一定准确。所以我们想把它系统化、自动化，让机器评估出来一个结果。上一步提到的车险明确的照片，在系统里接收之后，通过一些图片的有效识别，确认到这是一张有效的损伤部位的照片之后，我会进行实时地匹配，马上会输出一个损伤程度及损伤部位的认定。这时候可能在几秒钟之内，就能得到一个结果。

实践中发现的问题

第一个是内网穿透问题。保险公司都是有内网隔离的，可能坐席电脑，因为他以前也不需要直接对外有一些直接的业务，所以不能够直接上互联网的，它是内网隔离的。所以我们这套方案，还要给他提供一些内网穿透的解决方案。

第二个是硬件落地问题。真实情况下，保险公司的电脑配置非常低，它用IE的方案，我们试了一下，也是不行。我们针对这种情况，想了一种方案，要么是EIE（音）的解决方案，但是这个跟它实际情况不符，因为它的业务是跑在IE上的，所以最终我们又想到一个解决方案，能不能通过IE，通过Web页边调取一个东西，解决它的实际环境问题，使实时通信更加流畅。

我们跟各个行业深入探索的时候，我们在想，用小程序怎么解决行业问题？这个思考点，就是我怎么通过技术，让他的效率得到提升。哪里有效率不高的地方，哪里就有创新的空间。

司法各类场景痛点的总结

在法律场景，每年法律案件可能有成千上百万起，法律案件可能还有诉前的调解，还有诉讼的案件。诉前的调解是非常耗费时间和精力的，尤其是当时人在异地，每一次调解，要经过多轮沟通，时间和精力耗费巨大。

检察院的场景中律师办理案件，听取意见，律师会见的业务，以前都是要亲自跑到检察院进行时间申请，明确到双方约好一个时间，在固定地点，律师到检察院跟检察官进行当面的会面，检察官这个环节，需要对律师进行一个当面的指导。但是这对律师来说会耗费了很多时间成本。

司法咨询有较强的私密性，并且群众不愿意到现场寻求帮助。以前在线电话的咨询方式，呼叫中心每天会接到成千上百万个来自于群众的法律咨询，电话消耗成本也非常大，而且沟通不是特别完善，不是特别的有效。

我们考虑小程序怎么帮助司法，帮助法院，帮助我们的检察院去完成一个智慧的过程，让它更智能化、更智慧化。我们希望让信息多跑路，让群众少跑腿。

刚才说了几个类型，法院里的诉前调解、诉讼服务、检察院律师会见，司法咨询、司法调解，小程序都可以解决它的问题。让当事人、法官、证人都在线上进行交流调解，整个过程都会通过多入合流技术手段，把整个过程录像录音，并且保存下来。

诉讼服务

第一个是导诉，当事人通过小程序进行身份的验证，通过之后，他就能够看到跟他关联的案件的信息，他能够对信息进行一些查看，还能够对这条案件进行其他相关业务的处理。

在立案阶段，当事人可以通过小程序查看类似案件的信息以及相关的法律法规，对它会有一些补充。可以在线上完成立案和缴费。

分案阶段，可以根据我的需求，提交一个我认为方便的时间点。法院这边进行一个审核，会反馈一个支持开庭的时间，这个开庭就是在现场开庭了。

远程庭审过程中，双方当事人律师，如果需要有证人，或者记录员，都可以在线上环境进行真正的开庭。这时候当事人可以通过小程序提交一些证据，拍照的照片，或者一些实质性的文件，提交上去，对方的当事人是能够看到的。对方当事人和当事人律师，可以对接收到的证据进行质对。整个过程中，都可以把所有语音转成文字。最后是案后的文字送达，可以把文字实时通过小程序给当事人。

在司法方面的法律咨询、司法调解，它的业务流程中最关键的是人脸识别和后面的实名调解。小程序实现了在线的律师会见。

人脸核身

第一步是证件OCR技术。首先我通过手机摄像头，我实时地拍摄身份证，能够实时地获取到身份证信息、姓名和身分证号，把它作为登录信息。第二步是人脸识别，通俗地讲，把人脸做一个相似度的匹配，这就要求数据库里事先有一张存好的人脸图像。要求数据库的安全性要非常高。我们不能接受说，由用户自己去上传一张图片，如果是这种方式，在数据库层面，可能会很容易被黑客进行攻击，这就不安全了。所以我们很容易能想到，接入公安部的系统，公安部的身份证照片是足够标准的。它的环境也是非常安全可靠的，所以我们能够落地下来的一个人脸识别是自拍照和身份证照片的比对。

唇语活体检测

活体检测有很多方案，比如说眨眼、张嘴、摇头，一些很傻的方案。基于唇语的方案，人在说话的时候，他的唇部的变动会有细微的不同的，这个过程是无法去模仿的，所以它会更精确。

腾讯云是在很多行业，连同我们的合作伙伴，一起去落地行业的一些场景。我们在给出可复制的一些解决方案的思路。联合人民法院一起去建立这个品牌。我们希望能够通过这些解决方案，帮助全国各地的司法部门，能够在小程序上跑起来。

教育互动课堂

之前跟大家分析过一个教育场景解决的思路，这个就是我们对这个场景做出的一些沉淀。一般来说，老师会从PC端接入，首先发起一个直播，然后学生可以从固定入口，可能经过一些验证，进入到课堂环境。如果有需要的时候，老师会共享一些资料，共享一些PPT、共享一些文件，实时地对这些文件做一些标注、图画，这个过程中，学生都可以实时看到。学生如果想回答问题，那就一键按“我要连麦”，老师同意，你回答问题，建立这么一个实时通话的现场。可以同时支持多个学生进行交流。

小程序的类目中政务民生，政务民生是非常开放的，从8个子类目到了81个，并且完全可以用小程序音视频的。因为微信对小程序视频不是完全开放，是有限制的。

出于政策合规性考虑，微信只对以下几个类目开放了小程序音视频能力。社交、教育、医疗、政务民生、金融，并且每一个类目，还要有很多相关资质要求。大家如果想做小程序音视频，必须要注意一下这个。谢谢大家~