Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >影创科技的创始人兼CEO孙立:AI在增强现实中怎么用

影创科技的创始人兼CEO孙立:AI在增强现实中怎么用

作者头像
数据猿
发布于 2018-04-24 02:28:53
发布于 2018-04-24 02:28:53
1.3K0
举报
文章被收录于专栏:数据猿数据猿

数据猿导读

我们在光学上做了非常多的研究。首先是现在国内外量产能力非常不错的一个产品,是自由曲面,通过可量产的方案解决增强现实眼镜价值比较贵的问题。当然如果个人购买的话还不算是特别便宜。

作者 | 孙立

随着AR、VR和人工智能技术热度的上升,人工智能技术在VR和AR领域的应用也成为了热门话题。

4月27日下午,由数据猿、BitTiger、微软加速器·北京联合主办的硅谷之声论坛第二期在微软亚太研发总部召开。本次论坛的主题为AI in VR,AMD的图形事业部技术方案总监楚含进、冰立方创始人石瑞、影创科技创始人孙立、冰立方CTO谢国富在论坛上进行了分享。

以下是由数据猿精编整理发布的 影创科技的创始人兼CEO孙立 的精彩分享:

后台回复关键词“孙立”,获取演讲完整版PPT

分享长度为3000字,建议阅读6分钟

今天想跟大家分享AI在增强现实中的应用。

其实这是我正式做第二家公司,是我的第四个创业项目,我简单回顾一下我之前做创业项目的一些经历,和风口还是挺有关系的。

我在2005年大二的时候开始了第一个创业项目。当时我室友失恋了,他非常想做一个网站,做这个网站的目的很单纯,就是找对象。所以我就跟他做了一个非常像Facebook一样的网站,让单身男女把自己的照片传上去,像Facebook最早期的传照片,然后大家去评价。后来因为我这个室友找到女朋友了,所以这个项目就结束了。回过头看跟Facebook这个时间点是非常匹配的。

到了2007、2008年的时候,Facebook已经起来了,我看到基于社交网络的社交游戏非常火。最开始创业的过程就是追求风口的过程,开心农场是我做的第二个项目,并且上线盈利。当时我还是上海一家公司的实习生。

毕业之后,我很想做智能手机。大家选择创业项目的时候,一定要根据自己的实力,包括经济的实力和资源的实力量力而行。如果我当时做手机的互话,一定是做不成的,因为我几乎在手机硬件方面没有任何的资源,那个时候去拿风投创业环境也没有现在好。

所以在那个的情况下,我觉得自己不适合做硬件这件事情。最后我选择硬件是因为什么呢?因为我上一次创业延续了我之前做游戏的经验,后来我做了一家手游公司,那时候是2013、2014年的时候,那家手游公司一年净利润都到了一千万、两千万,我把它卖给上市公司以后,获得了自己的第一桶金,基于这个经历我才可以投入到后面的事业当中。

我之所以选择AR这个行业,是在2013到2014年之间,当时也是考察了很多创业项目,做手机肯定是不行,因为手机已经是红海市场了。我们就预测下一个成为新的平台的工具是什么?我们就认为肯定是增强现实,把公司卖掉以后,自己拿到的现金也就三千多万,这个钱做增强现实是远远不够的。包括做的过程中也是去融资,现在融了近亿,还是远远不够的。

2013年左右,这个项目开始正式招人。那个时候VRAR还没有像现在这么火,尤其AR才刚刚开始。如果现在再去追逐风口的话,我觉得未必就是一个很好的创业的项目。

我简单介绍一下公司,我们公司的核心优势是在于光学还有计算机视觉。我们希望成为世界上最好的增强现实公司,就像微软当时在操作系统的霸主,或者苹果在现在智能手机的霸主一样。

我们在光学上做了非常多的研究。首先是现在国内外量产能力非常不错的一个产品,是自由曲面,通过可量产的方案解决增强现实眼镜价值比较贵的问题。当然如果个人购买的话还不算是特别便宜。

第二个我们做一个半导体的芯片。它可以做到光场的显示,我们看到的图像聚焦是一样的,没有VR的图像就是手机摆在我们面前的一个焦距,可能是在两米左右的屏幕。但是我们人类真实接收光线信息的时候,不仅有颜色,更重要的还有一个深度,我们可以调节自己的眼球去对焦,看到不同远近的物体。我们看图像的时候,不光是一个平面的图,可以自动选择对焦自己想看清哪个图像。

把它逆转过来就是一个光场相机,直接可以捕捉到位置距离和光场信息,甚至不需要透镜。因为透镜有些问题,比如要看到一个很远的图像,就需要增加它的焦距。我们手机没办法做到相机一样的折射对焦。这个就是我们的核心技术。

计算机视觉相关的东西和增强现实在增强现实里面是怎么应用的?我们最主要的一个目标就是通过图像信息对当前场景进行一个三维的重建。现在一些家具行业里面,他们在一个真实的空间里面把一些虚拟的椅子、家具布置到空间里面,但是他们没有办法把真实的家具去移动。我如果拿个摄像机对着我这个桌子,这个桌子本身是移动不了的。

这些东西其实可以通过人工智能去解决,它不仅可以对现实进行增强还能进行修改,这个就非常有意思了。我看到苹果的一些专利里面就讲到这个如何在虚拟的世界里面删除掉现实的物体。

其次,提供一些逼真的位置关系。现在已经可以通过一些照片来获取APP。对着某个东西拍个照片,它知道这个照片里面东西是什么?它会把这个物品的信息告诉你,但是如果我们未来用增强现实的方式实时的对动态进行一个增强现实。比如在移动的过程中,看到这个桌子它就告诉我这桌子是什么样的一个状态?这个过程就需要看似实时的一个位置,我们可以结合深度学习的办法去做。我在讲我们的做法之前,先讲一下这个3D重建的一些简单的方法。

我们在获取这个图像的时候,有这么几种方法可以直接获得有深度信息的图。

第一个结构光。虽然不是特别老的一个技术,但是目前来说结构光也有一些包括工号、计算上面的一些问题。

第二个,光的飞行时间。

第三个,单目的视差。

第四个,多目视差。

第二块完全不利用本身图片的深度信息,利用一些机器学习还有模型匹配,或者两者相结合的方式,直接建立一个。

我再讲一下深度获取的这样一系列的方法。

第一个就是结构光。它要通特定模式的光,可以是点状的,也可以线条或者网格,因为不同物体的形状对光的反馈是不一样的,最终会直接把这个物体的形状给反馈出来。然后拿到这个反馈的形状再去获得它的光的结果。其实它是需要大量计算的,这种方式性能并不是特别高。

现在比较流行的就是TOF,侧记光脉冲之间的传输延迟。它的一个好处就是说对于物体来说,可以没有任何视觉上的特征点,因为它都是外面的光打上去的。并且它直接计算,刚刚说的计算光脉冲之间的传输延迟就可以得到这个结果,根据这个时间就可以获得了深度学习,所以它不通过三角测量,通过简单数学的计算就可以得到。

还有通过单目的视差。最后就是多目视差,通过多个摄像头获得的一个图片,获得这些图片的特征以后,再通过三角测量获得深度的结果。这些东西都有好处,但是它最大的问题还是在于实时性和建模的精度。

这样的情况,导致了没有办法非常真实的体现这些物体的位置关系,在做增强现实的过程中可能出现一些穿帮的效果。

怎么办?通过机器学习,其实很好理解。比如对人脸进行专项学习以后,它就可以完全清楚,它的分类器可以把人脸进行光照的分类,然后进行一个肤色的分类,最后进行三维重建的时候它的准确度就会高很多。

比如说我们刚刚说的结构光,其实完全可以不通过结构光判断这个物体的形状,通过自然光也是一样的。但不同的纹理对自然光的反馈是不一样的,通过这些反馈我们可以得到一个比较好的结果。而且这个纹理还有另外一个作用,比如我们对桌子进行建模,常规的方法可能只能建视角看到的面。但是通过纹理可以推测其他面的纹理。

最后我们再通过一些物体识别的方法进行大数据的匹配。通过单帧的图片,把图片里面的物体抠出来,然后标识出来。先做一个分割,分割以后去匹配我们的库里已有的模型。这个模型可以是一个很通用的库,里面已经包含了很多种不同类型基础的模型。同时也可以只是一个形状的库,里面有一些圆柱形、方形等,把这些图形组合起来可以做一个建模。

它整个的流程是这样,第一,通过视觉定位,通过当前的未知。通过视觉,通过特征点的描述,其实还要加一个IMU的融合进去,这样比较稳定。获得了定位以后,我们把这个定位图片的两帧相差结构比较大的传输到云端。我们用云并不是做实时数据处理,而是用云已经处理好的东西去描述场景里的东西。描述出来以后,把三维模型表述出来。

建立完了以后,实时只是做一个场景的融合,最后的跟踪,把这些模型放在正确的位置,这些位置需要我们通过技术动态的调整。

非常感谢大家,今天我的分享大概就这样,大家有什么问题的话,可以跟我再交流。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2017-05-07,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 数据猿 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
Linux磁盘管理完全指南:从分区到逻辑卷的实战攻略
今天咱们来聊聊Linux磁盘管理这个话题。说起磁盘管理,这可是每个运维工程师都绕不开的基本功。不管是新服务器上线、存储扩容,还是系统迁移,都离不开对磁盘的操作。
用户3597170
2025/06/13
1930
Linux基础篇——Linux磁盘操作(磁盘基础知识、分类、分区、挂载、卸载、扩容)详解「建议收藏」
  假如你有个大木桶要装东西,如果木桶没有划分层,所有东西全部放入里面,虽然可以装,但是对大木桶的使用就合不合理,造成杂乱无章,寻找东西时候也耗时,甚至还有不同物品之间不能存放在一起而导致危险,那更好的做法自然是给大木桶画一下不同的区域,分成不同的层,每个层放不同的东西,即安全,寻找起来也方便;
全栈程序员站长
2022/09/01
8.4K0
Linux基础篇——Linux磁盘操作(磁盘基础知识、分类、分区、挂载、卸载、扩容)详解「建议收藏」
每天学一个 Linux 命令(79):parted
parted 命令用于创建,查看,删除和修改磁盘分区。它是一个磁盘分区和分区大小调整工具。这个命令算是对fdisk命令的一个补充,因为如果磁盘大小大于2TB就无法使用fdisk命令进行分区操作了。
民工哥
2021/03/30
2.5K0
linux扩容(增加硬盘)并挂载
当Linux系统的硬盘空间不够时,我们需要添加新的硬盘。本文物理添加硬盘的方法略过,只介绍在linux系统的分区、格式化和挂载的内容。
用户9949933
2023/02/24
14K0
CentOS Linux下的3款分区工具
  伴随着科技的飞速发展,越来越多的企业对于服务器的稳定要求越来越高,越来越多的企业开始采用linux系统来部署自己的服务,以求高效的稳定性,当然任何操作系统都需要一个最基本的基础,那就是硬盘,及硬盘分区,今天来给大家推荐几款CentOS Linux下的分区工具及如何查看分区环境,也会给大家来带一些硬盘的基本知识
py3study
2020/01/07
4K0
linux下挂载新硬盘和分区的步骤 (50天)
今天和大家分享一下在linux下挂载新硬盘的步骤。 演示的环境基于centos [root@localhost etc]# uname -a Linux localhost.localdomain 2.6.32-220.el6.x86_64 #1 SMP Tue Dec 6 19:48:22 GMT 2011 x86_64 x86_64 x86_64 GNU/Linux [root@localhost etc]# cat system-release CentOS release 6.2 (Final)
jeanron100
2018/03/13
4.9K0
Linux 挂载2T以上存储
在生产环境中,我们会遇到分区大于2T的磁盘(比如:添加一个3TB的存储),由于MBR分区表只支持2T磁盘,所以大于2T的磁盘必须使用GPT分区表
用户1157212
2020/12/27
5.4K0
Linux 挂载2T以上存储
一个细小的空间问题触发的报警(r11笔记第68天)
今天有一个数据库服务器报警,报警信息是来自于一个异机备库。可以看到这台服务器空间只有300多G,而剩余空间只剩下了不到30G.所以这样一个问题就很奇怪了。 这个服务器是否很老旧,答还在报修期内,其它配置也不差,一个配置较好的服务器怎么会只有300G左右的存储空间。 # fdisk -l Disk /dev/sda: 299.4 GB, 299439751168 bytes 255 heads, 63 sectors/track, 36404 cylinders Units = cylin
jeanron100
2018/03/21
7170
linux基础命令介绍十二:磁盘与文件系统
本篇讲述磁盘管理相关的命令。计算机中需要持久化存储的数据一般是保存在硬盘等辅助存储器中。硬盘一般容量较大,为了便于管理和使用,可以将硬盘分成一到多个逻辑磁盘,称为分区;为使分区中的文件组织成操作系统能够处理的形式,需要对分区进行格式化(创建文件系统);在linux中,对于格式化后的分区,还必须经过挂载(可简单理解为将分区关联至linux目录树中某个已知目录)之后才能使用。
用户5030870
2019/04/11
5K0
linux基础命令介绍十二:磁盘与文件系统
将一个新硬盘能够挂载到linux 系统上(开机自动挂载)
sda ├─sda1 ext4 7cc94e03-8b1a-4845-97fb-49a2c39afd8c /boot ├─sda2 ext4 fe1d0eea-50ea-4d44-853b-1c39e5129021 / ├─sda3 ext4 df147f0a-efbd-4370-8e69-471b81a6ee7c /mnt/disk1 ├─sda4 ├─sda5 ext4 ea0d589d-a329-4bfc-a00b-11c00351765a /mnt/disk2 └─sda6 swap f306ece0-a790-41d7-b685-63585b8534e4 [SWAP]
用户4870038
2021/02/05
6.1K0
Linux磁盘管理和文件系统[通俗易懂]
  磁盘和文件系统的管理是运维人员的重要工作内容之一,本文对磁盘和文件系统的一些概念做了详细解释,管理命令给出了常用示例,方便自己在工作时随时查阅,也欢迎各位一同学习。
全栈程序员站长
2022/09/01
5K0
Linux从入门到精通(八)——Linux磁盘管理
​ linux文件颜色的含义:蓝色代表目录 绿色代表可执行文件 红色表示压缩文件 浅蓝色表示链接文件 灰 色表示其他文件 红色闪烁表示链接的文件有问题了 黄色表示设备文件:
传说之下的花儿
2023/04/16
2.9K0
Linux从入门到精通(八)——Linux磁盘管理
centos6.5新增加硬盘挂载并实现开机自动挂载
在内网主机新增一个2T硬盘,先关机断电再连接硬盘数据线和电源线! 查看当前磁盘设备信息: [root@tb ~]# fdisk -l WARNING: GPT (GUID Partition Table) detected on '/dev/sdb'! The util fdisk doesn't support GPT. Use GNU Parted. Disk /dev/sdb: 160.0 GB, 160041885696 bytes 255 heads, 63 sectors/track, 19
用户1679793
2018/04/28
1.9K0
Linux 磁盘分区全攻略:从基础到实践
在 Linux 系统管理中,磁盘分区是一项至关重要的任务。合理的磁盘分区方案能够提高系统的性能、安全性和可维护性。无论是安装新的 Linux 系统,还是对现有系统进行磁盘管理优化,掌握磁盘分区技术都是必不可少的。本文将详细介绍 Linux 中磁盘分区的概念、常见分区方案以及具体的操作步骤,并附上相应的代码示例,帮助读者深入理解和实践。
炒香菇的书呆子
2024/11/20
1K0
[Centos7]对硬盘进行分区及自动挂载
本文编写于 205 天前,最后修改于 205 天前,其中某些信息可能已经过时。 1.查看空闲的空间 [root@idc ~]# fdisk -l 2.使用fdisk开始分区 [root@idc ~]# fdisk /dev/sdb Command (m for help): p #查看当前磁盘信息 Disk /dev/sdb: 139.6 GB, 139586437120 bytes, 272629760 sectors Units = sectors of 1 * 512 = 512 bytes S
贰叁壹小窝
2020/07/22
1.2K0
linux 系统分区 格式化及挂载磁盘
1、首先查看未指派的分区名称,有的不一样,我的分别是/dev/sda和/dev/sdb,sda是系统分区,sdb是存储数据分区。
jwangkun
2021/12/23
3.8K0
Lvm管理
逻辑卷管理LVM(Logical Volume Manager)是Linux系统的一种管理硬盘分区机制,具有动态管理硬盘的能力。本文介绍了如何通过LVM在多块云盘上创建一个逻辑卷,适用于Linux实例。
mikelLam
2022/10/31
9310
Linux下GPT分区扩容
GPT分区不能使用gropwpart进行扩容分区,需要删除源有GPT分区,再次新建分区 1、查看当前分区状态 #查看分区是否是GPT [root@master ~]# fdisk -lu Disk /dev/vda: 64.4 GB, 64424509440 bytes, 125829120 sectors Units = sectors of 1 * 512 = 512 bytes Sector size (logical/physical): 512 bytes / 512 bytes I/O siz
用户6792968
2022/08/30
5K0
磁盘管理之 raid 文件系统 分区
该文章介绍了如何在不使用挂载的情况下,将硬盘分区格式化为ext4文件系统。同时,文章也探讨了如何将硬盘挂载到Linux系统中,并总结了一些常见的问题和解决方法。
惨绿少年
2017/12/27
2.7K0
Linux系统磁盘与分区管理
Linux最传统的磁盘文件系统(filesystem)使用的是EXT4格式,所以要了解文件系统就得要由认识EXT4开始,而文件系统是创建在硬盘上面的,因此我们得了解硬盘的物理组成才行,下面我们回来详细谈一谈磁盘,inode,block还有superblock等文件系统,的理论知识.
王 瑞
2022/12/28
6K0
推荐阅读
相关推荐
Linux磁盘管理完全指南:从分区到逻辑卷的实战攻略
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档