SEI(Supplemental Enhancement Information)是视频编码中的一种辅助增强信息,用于提供一些额外的、非必要的数据,以帮助解码器更好地处理视频流或提供一些附加信息给用户。SEI信息可以包含各种类型的数据,如图像处理指示、版权信息、定时信息等。
1. 数智人交互 aPaas 中采用 H264 协议的 RTMP、WebRTC 建流可以增加 SEI 信息,TRTC 模式则不支持。
2. 嵌入流的 SEI 信息包含用户请求携带的 SEI 数据信息和驱动的状态信息,采用 JSON 格式封装。
3. SEI 数据包格式如下:uuid+data,前16个字节为 uuid,第17个字节开始为 JSON 格式的包体数据。
{"sei_data": {},"status_data": {"STATUS": "AudioStart"}}
说明:
sei_data 值为用户上传的 VideoSeiInfo 原样返回。
status_data 值为服务端返回信息的扩展字段,前端支持 STATUS 为当前驱动的状态,支持 AudioStart、AudioOver、SentenceStart、SentenceOver、 TextStart、TextOver(第一个文本的 TextStart 会覆盖 SentenceStart)。
sei_data 和 status_data 的key 都保持有,如果没有对应值,则对应 value 为空字符串,也就是说即便 sei_data 和 status_data 对应的数据为空,也需要保证存在这个字段。