前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >影创科技的创始人兼CEO孙立:AI在增强现实中怎么用

影创科技的创始人兼CEO孙立:AI在增强现实中怎么用

作者头像
数据猿
发布于 2018-04-24 02:28:53
发布于 2018-04-24 02:28:53
1.3K0
举报
文章被收录于专栏:数据猿数据猿

数据猿导读

我们在光学上做了非常多的研究。首先是现在国内外量产能力非常不错的一个产品,是自由曲面,通过可量产的方案解决增强现实眼镜价值比较贵的问题。当然如果个人购买的话还不算是特别便宜。

作者 | 孙立

随着AR、VR和人工智能技术热度的上升,人工智能技术在VR和AR领域的应用也成为了热门话题。

4月27日下午,由数据猿、BitTiger、微软加速器·北京联合主办的硅谷之声论坛第二期在微软亚太研发总部召开。本次论坛的主题为AI in VR,AMD的图形事业部技术方案总监楚含进、冰立方创始人石瑞、影创科技创始人孙立、冰立方CTO谢国富在论坛上进行了分享。

以下是由数据猿精编整理发布的 影创科技的创始人兼CEO孙立 的精彩分享:

后台回复关键词“孙立”,获取演讲完整版PPT

分享长度为3000字,建议阅读6分钟

今天想跟大家分享AI在增强现实中的应用。

其实这是我正式做第二家公司,是我的第四个创业项目,我简单回顾一下我之前做创业项目的一些经历,和风口还是挺有关系的。

我在2005年大二的时候开始了第一个创业项目。当时我室友失恋了,他非常想做一个网站,做这个网站的目的很单纯,就是找对象。所以我就跟他做了一个非常像Facebook一样的网站,让单身男女把自己的照片传上去,像Facebook最早期的传照片,然后大家去评价。后来因为我这个室友找到女朋友了,所以这个项目就结束了。回过头看跟Facebook这个时间点是非常匹配的。

到了2007、2008年的时候,Facebook已经起来了,我看到基于社交网络的社交游戏非常火。最开始创业的过程就是追求风口的过程,开心农场是我做的第二个项目,并且上线盈利。当时我还是上海一家公司的实习生。

毕业之后,我很想做智能手机。大家选择创业项目的时候,一定要根据自己的实力,包括经济的实力和资源的实力量力而行。如果我当时做手机的互话,一定是做不成的,因为我几乎在手机硬件方面没有任何的资源,那个时候去拿风投创业环境也没有现在好。

所以在那个的情况下,我觉得自己不适合做硬件这件事情。最后我选择硬件是因为什么呢?因为我上一次创业延续了我之前做游戏的经验,后来我做了一家手游公司,那时候是2013、2014年的时候,那家手游公司一年净利润都到了一千万、两千万,我把它卖给上市公司以后,获得了自己的第一桶金,基于这个经历我才可以投入到后面的事业当中。

我之所以选择AR这个行业,是在2013到2014年之间,当时也是考察了很多创业项目,做手机肯定是不行,因为手机已经是红海市场了。我们就预测下一个成为新的平台的工具是什么?我们就认为肯定是增强现实,把公司卖掉以后,自己拿到的现金也就三千多万,这个钱做增强现实是远远不够的。包括做的过程中也是去融资,现在融了近亿,还是远远不够的。

2013年左右,这个项目开始正式招人。那个时候VRAR还没有像现在这么火,尤其AR才刚刚开始。如果现在再去追逐风口的话,我觉得未必就是一个很好的创业的项目。

我简单介绍一下公司,我们公司的核心优势是在于光学还有计算机视觉。我们希望成为世界上最好的增强现实公司,就像微软当时在操作系统的霸主,或者苹果在现在智能手机的霸主一样。

我们在光学上做了非常多的研究。首先是现在国内外量产能力非常不错的一个产品,是自由曲面,通过可量产的方案解决增强现实眼镜价值比较贵的问题。当然如果个人购买的话还不算是特别便宜。

第二个我们做一个半导体的芯片。它可以做到光场的显示,我们看到的图像聚焦是一样的,没有VR的图像就是手机摆在我们面前的一个焦距,可能是在两米左右的屏幕。但是我们人类真实接收光线信息的时候,不仅有颜色,更重要的还有一个深度,我们可以调节自己的眼球去对焦,看到不同远近的物体。我们看图像的时候,不光是一个平面的图,可以自动选择对焦自己想看清哪个图像。

把它逆转过来就是一个光场相机,直接可以捕捉到位置距离和光场信息,甚至不需要透镜。因为透镜有些问题,比如要看到一个很远的图像,就需要增加它的焦距。我们手机没办法做到相机一样的折射对焦。这个就是我们的核心技术。

计算机视觉相关的东西和增强现实在增强现实里面是怎么应用的?我们最主要的一个目标就是通过图像信息对当前场景进行一个三维的重建。现在一些家具行业里面,他们在一个真实的空间里面把一些虚拟的椅子、家具布置到空间里面,但是他们没有办法把真实的家具去移动。我如果拿个摄像机对着我这个桌子,这个桌子本身是移动不了的。

这些东西其实可以通过人工智能去解决,它不仅可以对现实进行增强还能进行修改,这个就非常有意思了。我看到苹果的一些专利里面就讲到这个如何在虚拟的世界里面删除掉现实的物体。

其次,提供一些逼真的位置关系。现在已经可以通过一些照片来获取APP。对着某个东西拍个照片,它知道这个照片里面东西是什么?它会把这个物品的信息告诉你,但是如果我们未来用增强现实的方式实时的对动态进行一个增强现实。比如在移动的过程中,看到这个桌子它就告诉我这桌子是什么样的一个状态?这个过程就需要看似实时的一个位置,我们可以结合深度学习的办法去做。我在讲我们的做法之前,先讲一下这个3D重建的一些简单的方法。

我们在获取这个图像的时候,有这么几种方法可以直接获得有深度信息的图。

第一个结构光。虽然不是特别老的一个技术,但是目前来说结构光也有一些包括工号、计算上面的一些问题。

第二个,光的飞行时间。

第三个,单目的视差。

第四个,多目视差。

第二块完全不利用本身图片的深度信息,利用一些机器学习还有模型匹配,或者两者相结合的方式,直接建立一个。

我再讲一下深度获取的这样一系列的方法。

第一个就是结构光。它要通特定模式的光,可以是点状的,也可以线条或者网格,因为不同物体的形状对光的反馈是不一样的,最终会直接把这个物体的形状给反馈出来。然后拿到这个反馈的形状再去获得它的光的结果。其实它是需要大量计算的,这种方式性能并不是特别高。

现在比较流行的就是TOF,侧记光脉冲之间的传输延迟。它的一个好处就是说对于物体来说,可以没有任何视觉上的特征点,因为它都是外面的光打上去的。并且它直接计算,刚刚说的计算光脉冲之间的传输延迟就可以得到这个结果,根据这个时间就可以获得了深度学习,所以它不通过三角测量,通过简单数学的计算就可以得到。

还有通过单目的视差。最后就是多目视差,通过多个摄像头获得的一个图片,获得这些图片的特征以后,再通过三角测量获得深度的结果。这些东西都有好处,但是它最大的问题还是在于实时性和建模的精度。

这样的情况,导致了没有办法非常真实的体现这些物体的位置关系,在做增强现实的过程中可能出现一些穿帮的效果。

怎么办?通过机器学习,其实很好理解。比如对人脸进行专项学习以后,它就可以完全清楚,它的分类器可以把人脸进行光照的分类,然后进行一个肤色的分类,最后进行三维重建的时候它的准确度就会高很多。

比如说我们刚刚说的结构光,其实完全可以不通过结构光判断这个物体的形状,通过自然光也是一样的。但不同的纹理对自然光的反馈是不一样的,通过这些反馈我们可以得到一个比较好的结果。而且这个纹理还有另外一个作用,比如我们对桌子进行建模,常规的方法可能只能建视角看到的面。但是通过纹理可以推测其他面的纹理。

最后我们再通过一些物体识别的方法进行大数据的匹配。通过单帧的图片,把图片里面的物体抠出来,然后标识出来。先做一个分割,分割以后去匹配我们的库里已有的模型。这个模型可以是一个很通用的库,里面已经包含了很多种不同类型基础的模型。同时也可以只是一个形状的库,里面有一些圆柱形、方形等,把这些图形组合起来可以做一个建模。

它整个的流程是这样,第一,通过视觉定位,通过当前的未知。通过视觉,通过特征点的描述,其实还要加一个IMU的融合进去,这样比较稳定。获得了定位以后,我们把这个定位图片的两帧相差结构比较大的传输到云端。我们用云并不是做实时数据处理,而是用云已经处理好的东西去描述场景里的东西。描述出来以后,把三维模型表述出来。

建立完了以后,实时只是做一个场景的融合,最后的跟踪,把这些模型放在正确的位置,这些位置需要我们通过技术动态的调整。

非常感谢大家,今天我的分享大概就这样,大家有什么问题的话,可以跟我再交流。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2017-05-07,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 数据猿 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
影创孙立:AR市场规模正在急剧扩大,铺设线下体验店将成为2018年制胜关键 | 镁客请讲
技术的提升与融合、C端市场的培育等将是AR行业2018年着重要做的事情。 可能因为AR/VR较为贴近娱乐及游戏行业,所以国内很多AR/VR公司的创始人,都有过非常丰富的游戏开发类从业经验,影创的创始人&CEO孙立也不例外。 “之所以选择AR领域进行创业,是经过深思熟虑的。”孙立说。 图 | 影创创始人&CEO孙立 选择AR 是因为它有更大的市场规模 “影创是我创立的第二家公司,在这之前,我曾经有过三年的游戏公司创业经历。13年底,在游戏公司以1.5亿的估值被全额收购后,我便去到海外进行项目考察,这其中,就包
镁客网
2018/05/30
3650
【独家】虞晶怡:虚拟现实与视觉(附视频)
本文共4140字,阅读全文约需12分钟 本文为大家讲述了虚拟现实技术在视觉方面的应用。 [ 导读 ] 3月25日,由清华-青岛数据科学研究院和中国工业经济联合会企业社会责任促进中心共同主办的“虚拟现实技术(VR)应用的社会价值与社会风险”研讨会在北京召开。来自政府、协会、企业、高校、媒体的150多位代表参加了研讨会。嘉宾们围绕VR技术的发展趋势、产业应用前景以及其中可能存在的社会风险进行了讨论。 本讲座选自上海科技大学教授、虚拟现实中心主任虞晶怡于2017年3月25日在清华大数据RONG系列论坛:大数
数据派THU
2018/01/29
9600
创始人说|影创CEO孙立谈ARKit与苹果的野心
苹果终于忍不住发大招了,在库克多次示爱AR之后,苹果终于有所动作。但不是媒体们猜测的苹果眼镜,而是基于iPhone的ARKit。但是大部分媒体的分析其事都忽略略了一些细节,那么我今天就给大家做个拾遗,
VRPinea
2018/05/17
6140
43. 精读《增强现实与可视化》
增强现实,Augmented Reality,简称AR。在VR的热潮已经褪去,AI当下正红的技术圈里,AR似乎已经成为了过气网红。但似乎在现在,我们可以来冷静地看待一下增强现实这个概念。
黄子毅
2022/03/14
2560
增强现实?先不要指望那些眼镜了
大数据文摘作品,转载要求见文末 作者 | TEKLA S. PERRY 编译团队 | Kevin Yan,Lizyjieshu,陈玲 在2014年年中,有家叫Magic Leap的公司精心编辑了一段视频:视频中一只逼真的小象在我们的掌中玩耍。Magic Leap承诺这个令人兴奋的增强现实技术很快会实现,并颠覆性地改变娱乐和计算行业。根据Crunchbase的估算,投资人已经为这家AR科技公司,倾注了将近13.9 亿美金的巨资。很多投资者都想在这个前景广阔的AR公司身上分得自己的一块蛋糕。 然而,到现在为
大数据文摘
2018/05/22
6410
增强现实(AR)与虚拟现实(VR)有啥区别?
增强现实(AR)和虚拟现实(VR)是两种不同的虚拟体验技术,它们在如何与现实世界交互和创建虚拟体验方面存在差异,像Meta Quest 2或Valve Index这样的VR头戴设备,以及像Pokemon Go这样的AR应用和游戏都很受欢迎。它们听起来相似,并且随着技术的发展,它们会在某种程度上交叉融合,这在新的苹果Vision Pro中显而易见,这款头戴设备将在2024年初才上市。VR和AR仍然是两个非常不同的概念,具有明确的特征可以区分它们。
点云PCL博主
2023/08/21
2.2K0
增强现实(AR)与虚拟现实(VR)有啥区别?
增强现实中应用的VSLAM技术综述
文章:A Review of VSLAM Technology Applied in Augmented Reality
点云PCL博主
2024/11/28
3270
增强现实中应用的VSLAM技术综述
沉浸体验:虚拟现实与增强现实技术在教育培训中的应用
随着科技的不断发展,虚拟现实(VR)和增强现实(AR)技术在各个领域的应用越来越广泛,其中包括教育和培训领域。沉浸体验的优势使得这些技术成为了教育培训中的热门选择虚拟现实(VR)和增强现实(AR)技术正在迅速改变教育培训的面貌。这些技术为学习者提供了前所未有的沉浸式、互动性强的学习体验,为教育带来了全新的可能性。
数字扫地僧
2024/04/18
1.2K0
手机中的计算摄影1——人像模式(双摄虚化)
很多人咨询我,手机上到底有哪些计算摄影的应用和技术。那么接下来就准备抽空写一系列文章做一下介绍。
HawkWang
2021/09/01
2.7K0
资料 | 2021 年增强现实和虚拟现实(AR/VR)趋势
尽管虚拟现实 (VR)/增强现实 (AR) 已经存在了一段时间,但直到 2014 年 Facebook 收购 Oculus VR 时,这项技术才开始引起人们的广泛关注。
好好学SLAM
2021/08/26
8800
资料 | 2021 年增强现实和虚拟现实(AR/VR)趋势
影创科技完成近亿元A轮融资,由达晨创投领投
国内领先的AR品牌影创科技近日获得近亿元A轮融资,由达晨创投领投。本轮融资后,影创科技将继续完成产品研发及技术迭代,并开辟新产线扩大产能,拓展销售渠道至全国乃至全球。同时,开拓与内容开发商对接渠道,通过签约等合作形式获得更多资源,丰富智能眼镜内容,进一步拓宽应用领域。 影创科技成立于2014年,专业从事智能眼镜整体软硬件开发,是全球少数可以量产AR智能眼镜的公司之一,掌握30多项相关专利技术,技术团队成员均来自华为、三星、罗切斯特光学等国内外从事光学及智能硬件的顶级公司,也是全球为数不多的有智能眼镜整机自主
VRPinea
2018/05/15
8240
AR(增强现实)的相关知识
增强现实(Augmented Reality,简称AR),增强现实技术也被称为扩增现实,AR增强现实技术是促使真实世界信息和虚拟世界信息内容之间综合在一起的较新的技术内容,其将原本在现实世界的空间范围中比较难以进行体验的实体信息在电脑等科学技术的基础上,实施模拟仿真处理,叠加将虚拟信息内容在真实世界中加以有效应用,并且在这一过程中能够被人类感官所感知,从而实现超越现实的感官体验。真实环境和虚拟物体之间重叠之后,能够在同一个画面以及空间中同时存在。
用户5777378
2019/08/12
1.8K0
AR(增强现实)的相关知识
虚拟现实遇上增强现实——未来世界的“沉浸式”进化之路
当你戴上VR(虚拟现实)头盔,瞬间进入一个完全数字构建的世界;或是用AR(增强现实)眼镜,看见虚拟信息叠加在现实场景里。这两个技术,你肯定都听过,但它们的结合究竟意味着什么?今天咱们就来聊聊这场“虚拟与现实融合”的故事,看它如何让世界变得更酷、更智能。
Echo_Wish
2025/05/28
1680
虚拟现实遇上增强现实——未来世界的“沉浸式”进化之路
探访上海影创科技|鸿鹄实机上手评测,带来了哪些惊喜?
(VRPinea 4月26日讯)本月14日,P君受邀来到了上海影创科技大厦,上手体验了一波影创科技目前正在预售的新一代MR眼镜——鸿鹄。鸿鹄是影创科技同英国PhotonLens联合设计的首批搭载骁龙XR2平台的混合现实设备之一,于2020年10月发布。目前,鸿鹄已于4月20日在影创科技官网(唯一平台)开启预售,预售截止时间为7月底。针对预售,影创科技同时推出了“趣味答题免尾款”(限量198台,目前已售罄)、“体验反馈赢免单”和“2021 Qualcomm XR创新应用挑战赛赢奖品”活动。
VRPinea
2021/04/28
1K0
探访上海影创科技|鸿鹄实机上手评测,带来了哪些惊喜?
虚拟现实与增强现实的未来:走向沉浸式与智能化的新时代
大家好,我是Echo_Wish,今天我们来聊聊一个大家越来越熟悉,但又充满无限可能的领域——虚拟现实(VR)和增强现实(AR)。如果你还没有完全理解VR和AR的区别,那不妨跟着我一起走进这个话题。我们将从现在的技术谈起,最终聊一聊它们未来的无限前景。
Echo_Wish
2025/02/23
1820
虚拟现实与增强现实的未来:走向沉浸式与智能化的新时代
设计新宠四|增强现实(AR)
近年来,增强现实 (AR) 和虚拟现实 (VR)一直是设计与技术领域的热门讨论话题,苹果、微软和谷歌等巨头竞争着一个又一个大型 AR 或 VR 体验。
晓吾
2022/03/30
1.7K0
设计新宠四|增强现实(AR)
如何使虚拟现实体验更加真实?(下)
大家好,我是堪萨斯州立大学的助理教授 Sungchul Jung。我将通过游戏体验介绍我们的研究,即振动对对称和非对称沉浸式多用户的影响(All Shook Up: The Impact of Floor Vibration in Symmetric and Asymmetric Immersive Multi-user VR Gaming Experiences)。
用户1324186
2022/11/07
1.5K0
如何使虚拟现实体验更加真实?(下)
增强现实AR技术在工业制造五大应用模式
导读:近来,一款由日本电子游戏业巨头任天堂和美国软件开发公司Niantic联合开发的智能手机游戏“口袋妖怪Go”(英文名Pokemon Go)风靡全球,形成了一个无国界的全民参与现象,目前是美国Android和iOS应用商店下载量和收入额最高的应用。   该游戏巧妙地结合生活,实现游戏中的地图和现实世界相互关联,地图会根据玩家的位置实时更新游戏中精灵的位置。   如果想要捉到更多精灵,玩家需要经常更换地点,在各种各样的地方四处寻找,从而达到运动的目的,有益身心健康。如今,在美国、澳大利亚、日本等国的大街上,
钱塘数据
2018/03/02
1.9K0
增强现实AR技术在工业制造五大应用模式
虚拟即是现实,AR专家眼中的真AR
@有饭吃 说:这篇文章翻译自美国、欧洲、日本的七位计算机视觉领域的学者共同就2014年8月在奈良大学召开的AR发展研究探讨会写的一篇总结性质的论文。在这篇论文中,学者们界定了何为真AR并且阐述了其发展方向以及发展壁垒,提供了一些较有价值的观点和看法,学者们认为需要采取一种类似AR图灵测试的方法来界定AR发展的程度,并认为光场是最有可能实现AR的途径。文章内容并不艰深,原文在http://arxiv.org/pdf/1512.05471v1.pdf上可以下载,我在这里对论文进行了一定程度的简化,并且增加了一些
新智元
2018/03/14
1.6K0
虚拟即是现实,AR专家眼中的真AR
智能手机双摄像头原理解析:RGB +Depth
用户1150922
2018/01/08
5.5K0
智能手机双摄像头原理解析:RGB +Depth
推荐阅读
相关推荐
影创孙立:AR市场规模正在急剧扩大,铺设线下体验店将成为2018年制胜关键 | 镁客请讲
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档