前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >影创科技的创始人兼CEO孙立:AI在增强现实中怎么用

影创科技的创始人兼CEO孙立:AI在增强现实中怎么用

作者头像
数据猿
发布于 2018-04-24 02:28:53
发布于 2018-04-24 02:28:53
1.3K0
举报
文章被收录于专栏:数据猿数据猿

数据猿导读

我们在光学上做了非常多的研究。首先是现在国内外量产能力非常不错的一个产品,是自由曲面,通过可量产的方案解决增强现实眼镜价值比较贵的问题。当然如果个人购买的话还不算是特别便宜。

作者 | 孙立

随着AR、VR和人工智能技术热度的上升,人工智能技术在VR和AR领域的应用也成为了热门话题。

4月27日下午,由数据猿、BitTiger、微软加速器·北京联合主办的硅谷之声论坛第二期在微软亚太研发总部召开。本次论坛的主题为AI in VR,AMD的图形事业部技术方案总监楚含进、冰立方创始人石瑞、影创科技创始人孙立、冰立方CTO谢国富在论坛上进行了分享。

以下是由数据猿精编整理发布的 影创科技的创始人兼CEO孙立 的精彩分享:

后台回复关键词“孙立”,获取演讲完整版PPT

分享长度为3000字,建议阅读6分钟

今天想跟大家分享AI在增强现实中的应用。

其实这是我正式做第二家公司,是我的第四个创业项目,我简单回顾一下我之前做创业项目的一些经历,和风口还是挺有关系的。

我在2005年大二的时候开始了第一个创业项目。当时我室友失恋了,他非常想做一个网站,做这个网站的目的很单纯,就是找对象。所以我就跟他做了一个非常像Facebook一样的网站,让单身男女把自己的照片传上去,像Facebook最早期的传照片,然后大家去评价。后来因为我这个室友找到女朋友了,所以这个项目就结束了。回过头看跟Facebook这个时间点是非常匹配的。

到了2007、2008年的时候,Facebook已经起来了,我看到基于社交网络的社交游戏非常火。最开始创业的过程就是追求风口的过程,开心农场是我做的第二个项目,并且上线盈利。当时我还是上海一家公司的实习生。

毕业之后,我很想做智能手机。大家选择创业项目的时候,一定要根据自己的实力,包括经济的实力和资源的实力量力而行。如果我当时做手机的互话,一定是做不成的,因为我几乎在手机硬件方面没有任何的资源,那个时候去拿风投创业环境也没有现在好。

所以在那个的情况下,我觉得自己不适合做硬件这件事情。最后我选择硬件是因为什么呢?因为我上一次创业延续了我之前做游戏的经验,后来我做了一家手游公司,那时候是2013、2014年的时候,那家手游公司一年净利润都到了一千万、两千万,我把它卖给上市公司以后,获得了自己的第一桶金,基于这个经历我才可以投入到后面的事业当中。

我之所以选择AR这个行业,是在2013到2014年之间,当时也是考察了很多创业项目,做手机肯定是不行,因为手机已经是红海市场了。我们就预测下一个成为新的平台的工具是什么?我们就认为肯定是增强现实,把公司卖掉以后,自己拿到的现金也就三千多万,这个钱做增强现实是远远不够的。包括做的过程中也是去融资,现在融了近亿,还是远远不够的。

2013年左右,这个项目开始正式招人。那个时候VRAR还没有像现在这么火,尤其AR才刚刚开始。如果现在再去追逐风口的话,我觉得未必就是一个很好的创业的项目。

我简单介绍一下公司,我们公司的核心优势是在于光学还有计算机视觉。我们希望成为世界上最好的增强现实公司,就像微软当时在操作系统的霸主,或者苹果在现在智能手机的霸主一样。

我们在光学上做了非常多的研究。首先是现在国内外量产能力非常不错的一个产品,是自由曲面,通过可量产的方案解决增强现实眼镜价值比较贵的问题。当然如果个人购买的话还不算是特别便宜。

第二个我们做一个半导体的芯片。它可以做到光场的显示,我们看到的图像聚焦是一样的,没有VR的图像就是手机摆在我们面前的一个焦距,可能是在两米左右的屏幕。但是我们人类真实接收光线信息的时候,不仅有颜色,更重要的还有一个深度,我们可以调节自己的眼球去对焦,看到不同远近的物体。我们看图像的时候,不光是一个平面的图,可以自动选择对焦自己想看清哪个图像。

把它逆转过来就是一个光场相机,直接可以捕捉到位置距离和光场信息,甚至不需要透镜。因为透镜有些问题,比如要看到一个很远的图像,就需要增加它的焦距。我们手机没办法做到相机一样的折射对焦。这个就是我们的核心技术。

计算机视觉相关的东西和增强现实在增强现实里面是怎么应用的?我们最主要的一个目标就是通过图像信息对当前场景进行一个三维的重建。现在一些家具行业里面,他们在一个真实的空间里面把一些虚拟的椅子、家具布置到空间里面,但是他们没有办法把真实的家具去移动。我如果拿个摄像机对着我这个桌子,这个桌子本身是移动不了的。

这些东西其实可以通过人工智能去解决,它不仅可以对现实进行增强还能进行修改,这个就非常有意思了。我看到苹果的一些专利里面就讲到这个如何在虚拟的世界里面删除掉现实的物体。

其次,提供一些逼真的位置关系。现在已经可以通过一些照片来获取APP。对着某个东西拍个照片,它知道这个照片里面东西是什么?它会把这个物品的信息告诉你,但是如果我们未来用增强现实的方式实时的对动态进行一个增强现实。比如在移动的过程中,看到这个桌子它就告诉我这桌子是什么样的一个状态?这个过程就需要看似实时的一个位置,我们可以结合深度学习的办法去做。我在讲我们的做法之前,先讲一下这个3D重建的一些简单的方法。

我们在获取这个图像的时候,有这么几种方法可以直接获得有深度信息的图。

第一个结构光。虽然不是特别老的一个技术,但是目前来说结构光也有一些包括工号、计算上面的一些问题。

第二个,光的飞行时间。

第三个,单目的视差。

第四个,多目视差。

第二块完全不利用本身图片的深度信息,利用一些机器学习还有模型匹配,或者两者相结合的方式,直接建立一个。

我再讲一下深度获取的这样一系列的方法。

第一个就是结构光。它要通特定模式的光,可以是点状的,也可以线条或者网格,因为不同物体的形状对光的反馈是不一样的,最终会直接把这个物体的形状给反馈出来。然后拿到这个反馈的形状再去获得它的光的结果。其实它是需要大量计算的,这种方式性能并不是特别高。

现在比较流行的就是TOF,侧记光脉冲之间的传输延迟。它的一个好处就是说对于物体来说,可以没有任何视觉上的特征点,因为它都是外面的光打上去的。并且它直接计算,刚刚说的计算光脉冲之间的传输延迟就可以得到这个结果,根据这个时间就可以获得了深度学习,所以它不通过三角测量,通过简单数学的计算就可以得到。

还有通过单目的视差。最后就是多目视差,通过多个摄像头获得的一个图片,获得这些图片的特征以后,再通过三角测量获得深度的结果。这些东西都有好处,但是它最大的问题还是在于实时性和建模的精度。

这样的情况,导致了没有办法非常真实的体现这些物体的位置关系,在做增强现实的过程中可能出现一些穿帮的效果。

怎么办?通过机器学习,其实很好理解。比如对人脸进行专项学习以后,它就可以完全清楚,它的分类器可以把人脸进行光照的分类,然后进行一个肤色的分类,最后进行三维重建的时候它的准确度就会高很多。

比如说我们刚刚说的结构光,其实完全可以不通过结构光判断这个物体的形状,通过自然光也是一样的。但不同的纹理对自然光的反馈是不一样的,通过这些反馈我们可以得到一个比较好的结果。而且这个纹理还有另外一个作用,比如我们对桌子进行建模,常规的方法可能只能建视角看到的面。但是通过纹理可以推测其他面的纹理。

最后我们再通过一些物体识别的方法进行大数据的匹配。通过单帧的图片,把图片里面的物体抠出来,然后标识出来。先做一个分割,分割以后去匹配我们的库里已有的模型。这个模型可以是一个很通用的库,里面已经包含了很多种不同类型基础的模型。同时也可以只是一个形状的库,里面有一些圆柱形、方形等,把这些图形组合起来可以做一个建模。

它整个的流程是这样,第一,通过视觉定位,通过当前的未知。通过视觉,通过特征点的描述,其实还要加一个IMU的融合进去,这样比较稳定。获得了定位以后,我们把这个定位图片的两帧相差结构比较大的传输到云端。我们用云并不是做实时数据处理,而是用云已经处理好的东西去描述场景里的东西。描述出来以后,把三维模型表述出来。

建立完了以后,实时只是做一个场景的融合,最后的跟踪,把这些模型放在正确的位置,这些位置需要我们通过技术动态的调整。

非常感谢大家,今天我的分享大概就这样,大家有什么问题的话,可以跟我再交流。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2017-05-07,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 数据猿 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
Linux下的压缩命令
tar -zcvf /home/xahot.tar.gz /xahot tar -zcvf 打包后生成的文件名全路径 要打包的目录 例子:把/xahot文件夹打包后生成一个/home/xahot.tar.gz的文件。 zip 压缩方法: 压缩当前的文件夹 zip -r ./xahot.zip ./* -r表示递归 zip [参数] [打包后的文件名] [打包的目录路径] 解压 unzip xahot.zip 不解释 linux zip命令的基本用法是: linux zip命令参数列表: -a 将
昨天50还没用完
2018/06/29
3.8K0
linux压缩和解压缩命令大全「建议收藏」
发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/105897.html原文链接:https://javaforall.cn
全栈程序员站长
2022/08/09
5690
Linux压缩打包命令——tar、zip、unzip
打包是指将多个文件或者目录放在一起,形成一个总的包,这样便于保存和传输,但是大小是没有变化的,压缩是指将一个或者多个大文件或者目录通过压缩算法使文件的体积变小以达到压缩的目的,可以节省存储空间,在压缩的时候通常是先打包再压缩;
全栈程序员站长
2022/07/22
8.5K0
Linux压缩打包命令——tar、zip、unzip
Linux zip命令
将 /home/html/ 这个目录下所有文件和文件夹打包为当前目录下的 html.zip:
狼啸风云
2021/11/10
5.4K0
linux zip 命令详解(2)
linux zip 命令详解  功能说明:压缩文件。  语 法:zip [-AcdDfFghjJKlLmoqrSTuvVwXyz$][-b <工作目录>][-ll][-n <字尾字符串>][-t <日期时间>][-<压缩效率>][压缩文件][文件...][-i <范本样式>][-x <范本样式>]  补充说明:zip是个使用广泛的压缩程序,文件经它压缩后会另外产生具有".zip"扩展名的压缩文件。  参 数:  -A 调整可执行的自动解压缩文件。  -b<工作目录> 指定暂时存放文件的目录。  -c 替每个
joshua317
2018/04/10
5.2K0
史上最硬核的Linux命令大全,还不收藏? ❤️【通俗易懂,小白一看就会】「建议收藏」
目前企业有超过 80% 甚至更多的系统都是 Linux 操作系统,所以不管是做开发还是运维,不会点 Linux 知识肯定是无法进入到企业里工作。而且,很多企业的岗位职责里写要需要精通 Linux 。
全栈程序员站长
2022/11/01
1.8K0
6.5 zip压缩工具
zip目录概要 zip支持压缩目录 zip 1.txt.zip 1.txt 压缩文件 zip -r 123.zip 123/ 压缩文件到指定目录下 unzip 1.txt.zip 解压文件 unzip 123.zip -d /root/456/ 解压文件到制定目录 unzip -l 123.zip 查看压缩文件列表 zip压缩文件或目录 在linux和windows中都有一个zip压缩工具,但是linux下不支持解压windos下的rar
运维小白
2018/02/06
1.3K0
Linux命令篇(五):解压缩部分
gzip命令用于压缩文件,gzip是个使用广泛的压缩程序,文件经它压缩过后,其名称后面会多出".gz"的扩展名。基本语法如下:
用户11147438
2024/06/04
1770
Linux命令之zip详解
1、把/home目录下面的data目录压缩为data.zip zip -r data.zip data #压缩mydata目录 2、把/home目录下面的data.zip解压到databak目录里面 unzip mydata.zip -d databak 3、把/home目录下面的abc文件夹和123.txt压缩成为abc123.zip zip -r abc123.zip abc 123.txt 4、把/home目录下面的wwwroot.zip直接解压到/home目录里面 unzip wwwroot.zip 5、把/home目录下面的abc12.zip、abc23.zip、abc34.zip同时解压到/home目录里面 unzip abc\*.zip 6、查看把/home目录下面的wwwroot.zip里面的内容 unzip -v wwwroot.zip 7、验证/home目录下面的wwwroot.zip是否完整 unzip -t wwwroot.zip 8、把/home目录下面wwwroot.zip里面的所有文件解压到第一级目录 unzip -j wwwroot.zip
用户5640963
2019/07/25
3.8K0
Node zip压缩和解压缩
NodeJS 文件(夹)压缩/解压方案(zip/unzip)-Linux 上 zip 相关命令
chuchur
2022/10/25
3.1K0
linux系统zip压缩文件命令
zip程序将一个或多个压缩文件与有关文件的信息(名称、路径、日期、上次修改的时间、保护和检查信息以验证文件完整性)一起放入一个压缩存档中。可以使用一个命令将整个目录结构打包到zip存档中。
用户1685462
2021/07/18
16.4K0
压缩解压类命令一览表
Linux中最常见的压缩格式有:.zip .gz .bz2 .tar.gz .tar.bz2 .xz .rar .tgz
全栈工程师修炼指南
2022/09/28
1.4K0
压缩解压类命令一览表
【Linux系统编程】基础指令(三)
这些只是常见的用法示例,echo指令还有其他用法和选项,可以通过在终端上输入"man echo"来查看更多详细信息。
大耳朵土土垚
2024/05/04
1690
【Linux系统编程】基础指令(三)
命令解压war包_tomcat war包不解压
把java程序打成war包。起先用zip命令打包,起先可以用,后来却无法使用。今天找到一个更好的办法。用jar命令,前提是要安装jdk。
全栈程序员站长
2022/11/01
2.5K0
Shell(Linux)常用命令
所谓Shell(壳),一般是指由操作系统提供的,用于计算机用户向操作系统输入相关指令并得到结果的程序。Shell可以字符形式的,也可以是图形界面形式的。 Shell可以通过其条件语句和循环语句等,把一系列linux命令结合在一起,形成一个相当于面向过程的程序。 在windows系统中见到的桌面即explorer.exe(资源管理器)是图形shell,而cmd就是命令行shell(Command shell)。 基础命令行和Shell都可以操作Linux系统,区别在于基础命令行(ls、cd等),是一种单一的操作;Shell可以比基础命令行更复杂,是一种组合型的操作。相比基础命令拥有了面向过程的概念。
十玖八柒
2022/08/01
3.3K0
Shell(Linux)常用命令
linux 解压缩zip文件 unzip 命令详解[通俗易懂]
语 法:unzip [-cflptuvz][-agCjLMnoqsVX][-P <密码>][.zip文件][文件][-d <目录>][-x <文件>] 或 unzip [-Z]
全栈程序员站长
2022/09/06
5.6K0
Linux常用命令及参数(持续更新)
“ls”即 list 的缩写,通过 ls 命令可以查看 linux 目录下包含的文件,以及查看文件权限(包括目录、文件夹、文件权限)、查看目录信息等。
Cikian.
2022/10/31
1.6K0
Linux常用命令:压缩与打包
訾博ZiBo
2025/01/06
2260
压缩,解压参数:tar,zip,unzip,gzip, bzip2
当 tar 命令用于打包操作时,该命令的基本格式为:tar [选项] 源文件或目录 tar 打包命令常用选项及含义
用户4870038
2021/02/05
1.4K0
探秘Linux压缩与解压命令:Tar与Zip
家人们好,今天我们将深入探讨Linux系统中两个常用的压缩与解压命令——Tar和Zip。在Linux世界中,文件压缩是一项非常重要的技能,它不仅可以节省磁盘空间,还能方便文件传输和备份。让我们一起来了解这两个强大的工具如何发挥作用吧!
修己xj
2023/08/25
5230
探秘Linux压缩与解压命令:Tar与Zip
推荐阅读
相关推荐
Linux下的压缩命令
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档