整体介绍
Windows SDK 使用虚幻引擎(Unreal Engine)渲染高精度的虚拟人形象,有丰富的控制命令和接口,方便第三方开发者将数智人集成到自己的应用中。
为了方便第三方集成,Windows 客户端渲染 SDK 还集成了一系列的配套工具。包括:浮层播放器,浮层浏览器,腾讯云 ASR 语音识别接入, 多模交互(语音,人脸,动作)接入,参数配置工具,程序启动管理器等。
下面分别介绍渲染主控程序和配套工具。
渲染主程序
数智人渲染主程序是运行在 Windows 平台的应用程序,无窗口界面。
主程序完成了数智人的渲染,驱动和问答等功能逻辑,并将渲染结果以背景透明视频流的方式,通过 NDI 协议,在本机和局域网中传输。
对接视频流
需要显示渲染出来的视频流,可以通过以下方式对接:
自行开发应用,对接 NDI 视频流;
集成到支持 NDI 协议(如 RayDataPlus, obs,vMix, 芯象直播助手等)的第三方软件中。
使用配套的浮层播放器显示数智人浮层窗口。
对接控制指令
合作伙伴需要自行开发应用,通过 UDP 或 KCP 协议发送和接收控制命令,配置和控制数智人播报,问答等功能。
SDK 供了常用编程语言的示例程序,在 SDK 安装目录的
example/
下。示例的编程语言有:
C#
NodeJs
渲染主程序启动及参数配置
渲染主程序有灵活的启动参数配置,来满足不同需求的数智人渲染场景。
在调试启动时,可使用 SDK 安装目录
ue/
目录下的 run.bat
批处理文件启动渲染主程序。授权
端渲染 SDK 是按设备授权方式,授权绑定特定机器设备,如更换了渲染设备,或更换了渲染设备的 CPU 、主板等主要配件, 需要重新授权。
授权方式分为在线和离线两种方式,对应客户机器是否能连接外网。
获取授权请联系技术对接人。
浮层窗口播放器
数智人渲染输出的 NDI 视频流,直接对接有一定的开发门槛,为了让合作伙伴更方便的集成数智人,我们开发了数智人浮层播放器。
浮层播放器是一个透明背景的 Windows 窗口程序,可以漂浮在任意的 Windows 程序界面之上,随意拖动改变位置,并且可以让鼠标事件穿透数智人,传递到数智人下面的程序里。
配置工具
可以通过配置工具灵活的进行配置,可以对数智人输出的分辨率,视角,服装,音色,背景,等进行配置,并保存到配置文件。