Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >简单了解虚拟数字人的制作标准

简单了解虚拟数字人的制作标准

作者头像
产品言语
发布于 2023-09-09 00:51:34
发布于 2023-09-09 00:51:34
9941
举报
文章被收录于专栏:产品笔记产品笔记

虚拟数字人从技术层面理解,是通过计算机图形学、深度学习语音合成技术、动作捕捉、图形渲染等技术手段聚合合成,具有“人”外观、行为甚至思想的可交互虚拟形态。

数字人分类:


01

3D数字人制作标准

3D数字人的制作标准从影响产品力的两大核心指标进行评估:美术评估和技术评估。

美术评估指标从角色造型辨识度(外貌、性格、背景)、模型精度与骨骼绑定(模型精度、动作流畅度)、不同场景适配度(使用场景、道具互动)三个维度出发,将虚拟数字人的设定元素细化到世界观构建、口头禅、招牌动作等的设计上;考察手发质感、布料质感肢体动作及微表情的精度与流畅度,同时还结合虚拟数字人与场景、道具的互动反馈。

技术评估指标从语音合成效果(清晰度、辨析度、自然度)、内容生成效能(覆盖领域广、生成速度快、内容精度高)、渲染能力(面部渲染技术、骨骼渲染技术、皮肤毛发渲染技术、服饰渲染技术)、角色生成效能(图像质量、生成效率、适用性)、交互能力人机交互、环境交互)等五个维度进行考察,一方面包括了虚拟数字人制作相关的语音、图像、渲染技术,另一方面包括了虚拟数字人运营相关的内容生成、交互技术等。同时从技术的复杂度、效果度、智能度将指标细化,将虚拟数字人进行分级评估。

根据指标维度,将技术分为 L1-L5 五级、美术分为 A1-A5 五级。虚拟数字人是美术与技术的集合体,两者缺一不可,技术和美术双指标结合评估可以更完整地评估虚拟数字人的产品力。

02

2D数字人制作标准

视频:http://mpvideo.qpic.cn/0bc3zaaagaaaraapc732drsfbsgdapeaaaya.f10002.mp4?

2D数字人的制作标准从影响产品力性能和用户体验的几个关键指标进行评估。

  1. 唇形驱动效果:可以从同步性、准确性、自然性等方面来衡量2D数字人唇形驱动的效果。
    1. 同步性:数字人的唇形动画与语音的同步性,如果同步性好,数字人的唇形运动将与发音时间对齐,给用户带来更真实的体验。
    2. 准确性:数字人的嘴唇运动与实际发音的准确性,包括观察数字人的嘴唇变化是否正确反应了所发出的音素。
    3. 自然性:数字人的唇形驱动是否与现实生活中的人类相似。可以通过观察嘴唇的运动速度、平滑度和过度来进行评估。过于生硬或不自然的嘴唇运动会让观众感到不适。
  2. 表情和肢体语言:除了唇形驱动外,数字人的表情和肢体语言也对整体效果产生影响。表情和肢体语言应与语音信号相协调,以增强沟通效果和真实感。
  3. 运动平滑度:衡量数字人嘴唇运动的平滑程度。通过计算嘴唇运动速度或加速度的变化来实现,得到一个运动平滑度。
  4. 唇形相似度:通过比较数字人嘴型与实际发音者的嘴型之间的相似程度,得出一个数值。可以通过计算嘴唇轮廓之间的距离或相关性来实现。
  5. 主观评估:让不同类型的用户观看并评价数字人的唇形驱动效果。用户可以根据同步性、准确性和自然性等因素进行评价,通过调查问卷、评分、用户反馈等方法来收集,从而衡量整体效果。

为了全面评估数字人产品的性能和用户体验,需要收集和分析这些关键指标。这些数据可以指导产品的优化和改进,以满足用户需求和提高整体体验。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2023-06-03,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 产品言语 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
1 条评论
热度
最新
2D数字人制作标准 视频看不了
2D数字人制作标准 视频看不了
回复回复点赞举报
推荐阅读
编辑精选文章
换一批
这是两会上最高科技的主播!不会累、不会失误,逼真得不像AI
这个AI合成主播就可以——坐姿、站姿零失误播报是基操,而且还是3D,360度取景也hold得住。
量子位
2020/06/01
3740
AI数字人开发的技术难点
开发AI数字人涉及到多个前沿技术领域,因此面临着诸多技术难点。以下是一些主要的技术挑战。
数字孪生开发者
2025/04/07
1150
AI数字人开发的技术难点
「全球首个」3D 合成主播参与新华社两会报道,纯AI驱动一分钟出活,无需人工干预
看起来,她长得有点儿像新华社记者赵琬微,却可以一秒换装、实时换发型,还可以同时穿梭在不同的虚拟演播室中。
新智元
2020/06/01
1.2K0
超写实数字人小灿加入,助力火山语音全类型虚拟数字人应用创新
当发现更多AI科技作用于日常生活时,你是否想过竟然有一天会与AI数字人做同事?日前,火山语音团队重磅推出了一位神秘新成员——首个超写实数字员工小灿!这位新同事不仅形象清新美丽,还有着很强的亲和力,大幅提升了工作幸福感,真可谓让大家率先体验到了拥有一位超写实数字人同事的快乐。
刘旷
2023/10/27
2770
《探索视频数字人:开启未来视界的钥匙》
在当今科技飞速发展的时代,视频数字人技术如一颗璀璨的新星,正逐渐成为各领域瞩目的焦点。它的出现,犹如一场科技风暴,彻底改变了传统的视频制作方式,为各个行业带来了前所未有的机遇与挑战。
正在走向自律
2024/12/18
1530
《探索视频数字人:开启未来视界的钥匙》
AI驱动的智能图形应用
大家好,我是相芯科技的蔡锐涛,很高兴今天在这里与大家分享交流。今天与大家分享的题目是AI驱动的智能图形应用。按照惯例,我简单介绍下我们公司。
LiveVideoStack
2020/02/19
2.1K0
2D虚拟数字人如何实现人物表达
首先我们了解到虚拟数字人根据人物图形资源的维度,数字人可以分为2D和3D两大类。2D数字人从外形上可以分为2D真人和2D卡通。
产品言语
2023/09/09
1.8K0
2D虚拟数字人如何实现人物表达
动态 | 迪士尼也来研究人工智能啦,将AI用于动画制作
AI科技评论按:众所周知,卡耐基梅隆大学在计算机科学方面的研究名列前茅,而迪士尼有意将计算机科学技术引入动画制作。他们与卡耐基梅隆大学合作建立的实验室近日发表了一篇论文 A Deep Learning Approach for Generalized Speech Animation,利用深度学习的方法,来生成看起来自然的语音动画。这篇论文已被SIGGRAPH 2017收录。 他们引入了一种简单而有效的深度学习方法,来自动生成看起来自然的,能够与输入语音同步的语音动画。这种方法使用滑动窗口预测器,可以学习到
AI科技评论
2018/03/13
1K0
动态 | 迪士尼也来研究人工智能啦,将AI用于动画制作
「克隆」新华社女记者,全球首个3D AI合成主播是如何炼成的?
「逼真」大概是我们对于表现力极高的一种赞扬,比如在《霸王别姬》中,「袁四爷」看到程蝶衣出神入化的演技后,发出「虞姬再生」的感叹。搜狗 3D AI 主播又何以做到逼真?
机器之心
2020/05/27
7460
基于扩散模型的音频驱动说话人生成,云从&上交数字人研究入选ICASSP 2023
近日,国际语音及信号处理领域顶级会议 ICASSP2023 在希腊成功举办。大会邀请了全球范围内各大研究机构、专家学者以及等谷歌、苹果华为、Meta AI、等知名企业近 4000 人共襄盛会,探讨技术、产业发展趋势,交流最新成果。
机器之心
2023/08/07
5810
基于扩散模型的音频驱动说话人生成,云从&上交数字人研究入选ICASSP 2023
中风瘫痪18年,AI让她再次「开口说话」!脑机接口模拟表情,数字化身当嘴替|Nature
30岁那年,一次毁灭性的中风,让一位47岁加拿大女性几乎完全瘫痪,此后失语18年。
新智元
2023/09/09
2950
中风瘫痪18年,AI让她再次「开口说话」!脑机接口模拟表情,数字化身当嘴替|Nature
复旦百度等开源的AI对口型肖像视频生成框架 Hallo,不仅质量好,动作丰富质量高,还是完全开源的
近日,由复旦大学、百度公司、苏黎世联邦理工学院和南京大学的研究人员联合开发的AI对口型肖像图像动画技术——Hallo,正式发布。这一框架结合了先进的音频分析技术和视觉合成模块,能够根据语音音频输入生成高度逼真且动态的肖像图像视频。
deephub
2024/07/01
3910
复旦百度等开源的AI对口型肖像视频生成框架 Hallo,不仅质量好,动作丰富质量高,还是完全开源的
让数字人出圈的技术秘籍,华为率先公开了
在刚刚结束的2022华为开发者大会(HDC2022)上,升级版的手语数字人再次亮相,为大会的主题演讲进行了实时翻译。
量子位
2022/12/08
7710
让数字人出圈的技术秘籍,华为率先公开了
数字人技术的核心:AI与动作捕捉的双引擎驱动(2/10)
数字人技术的发展历程,是一部从简单到复杂、从静态呈现到动态交互的技术进化史。早期,数字人主要以静态建模的形式出现在影视、游戏等领域,依靠手工细致地构建模型与精心预设的动作库,来赋予数字人基本的形象和动作。但这种方式下的数字人,宛如被定格在特定场景中的木偶,缺乏与外界实时互动的能力,也难以展现出丰富多元的个性化表达。
正在走向自律
2025/04/09
2600
数字人技术的核心:AI与动作捕捉的双引擎驱动(2/10)
大模型应用于数字人
大模型会改变整个软件行业, 其中具有代表性的产品之一是数字人, 那么,什么是数字人呢?数字人涉及了哪些关键技术呢?大模型对数字人的发展带来哪些影响呢?
半吊子全栈工匠
2023/11/07
1.1K0
大模型应用于数字人
2022年虚拟人行业研究报告
虚拟数字人指存在于非物理世界中,由计算机图形学、图形渲染、动作捕捉、深度学习、语音合成等计算机手段创造及使用,并具有多重人类特征(外貌特征、人类表演能力、人类交互能力等)的综合产物。虚拟人可分为服务型虚拟数字人、身份型虚拟数字人。
资产信息网
2022/03/22
1.7K0
2022年虚拟人行业研究报告
虚实之间01 | 什么是虚拟数字人?
著名科幻小说《三体》描述过这样一个场景:主角为了寻找超自然力量的线索,借助虚拟现实设备进入了一款游戏,他在虚拟世界中遇到的人物,不仅有人类的外形,能跟他流畅地对话,甚至还有人类的逻辑和情感。
GIAIAC
2022/06/16
1.1K0
虚实之间01 | 什么是虚拟数字人?
图片+音频秒变视频!西交大开源SadTalker:头、唇运动超自然,中英双语全能,还会唱歌
---- 新智元报道   编辑:LRS 【新智元导读】让图片配合你的音频出演,配套sd-webui插件已发布! 随着数字人概念的火爆、生成技术的不断发展,让照片里的人物跟随音频的输入动起来也不再是难题。 不过目前「通过人脸图像和一段语音音频来生成会说话的人物头像视频」仍然存在诸多问题,比如头部运动不自然、面部表情扭曲、视频和图片中的人物面部差异过大等问题。 最近来自西安交通大学等的研究人员提出了SadTalker模型,在三维运动场中进行学习从音频中生成3DMM的3D运动系数(头部姿势、表情),并使用一
新智元
2023/05/09
1.2K0
图片+音频秒变视频!西交大开源SadTalker:头、唇运动超自然,中英双语全能,还会唱歌
一文带你了解AI虚拟数字人!
据艾媒咨询,2025年中国虚拟人市场规模预计达480.6亿元,用户群体主要为中型及小微型企业,产品需求量TOP5分别是电商、卫生、社会保障和社会福利业、教育、金融和运输业,主要产品类型为数字员工及定制化数字人。
朱晓霞
2024/03/14
13.6K1
一文带你了解AI虚拟数字人!
虚拟数字人平台商业化模式
数字人是一种基于人工智能技术和计算机图形学的虚拟人物,以数字形式存在于数字空间中,模拟了拟人或真人的外观、行为、语言和情感,可以在虚拟世界、游戏、影视作品或其他应用中进行交互。数字人的核心技术主要包括计算机图形学、语音合成与识别、人工智能与自然语言处理、动作捕捉、图像渲染、行为与感情建模等。随着技术的发展,数字人可以打造更完美的人设,数字人在各个领域的应用也越来越广泛,为品牌带来正向价值。在影视、传媒、电商、C端娱乐、教育、金融等领域应用。
产品言语
2023/09/09
6040
虚拟数字人平台商业化模式
推荐阅读
相关推荐
这是两会上最高科技的主播!不会累、不会失误,逼真得不像AI
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档