谷歌专利探索室内空间的3D地图扫描重建

查看引用/信息源请点击：映维网Nweon

扫描室内空间

（映维网Nweon 2023年03月24日）深度感测允许用户扫描室内空间以创建3D地图。3D地图可以与图像组合以生成逼真的虚拟房间，然后用户可以在逼真的体验中与之交互，例如实现虚拟游览。3D模型同时可以用于在AR环境中生成逼真的虚拟对象。例如，3D模型可以帮助AR软件将虚拟对象定位在室内空间中的真实对象后面。

成功扫描室内空间具有挑战性，尤其是具有多个区域的大型室内空间。所以在名为“Systems and methods for generating three-dimensional maps of an indoor space”的专利申请中，谷歌就提出了相关的解决方案。

谷歌指出，诸如智能手机和AR眼镜这样的移动计算设备可以配置有深度传感器，并用于扫描室内空间，以产生室内空间的3D地图。3D地图是室内空间的渲染，包括以精确描绘以空间关系布置的物体的相对尺寸。3D地图可以直接用于获得空间的交互式视图，例如虚拟游览）。另外，可以从3D地图导出信息以增强或启用诸如AR这样的用例。

如图1所示，对于获取3D地图的深度数据，可以通过在室内区域100的3D扫描期间沿着路径120物理扫描来实现，从而适应深度传感器的有限视场。移动计算设备110可以在3D扫描期间监视其位置/方位，使得深度数据可以在扫描期间注册到移动计算设备的相对位置/方位。

因为深度数据是相对于3D扫描期间移动计算设备的位置/取向，而不是相对于任何物理坐标系，所以可能难以确定来自不同3D扫描的深度数据集的相对位置/取向。所以，可能难以创建室内空间的多个不同区域的3D地图。

另外，通过在一次扫描中连续扫描多个不同的区域来创建多个不同区域的3D地图可能需要大量的处理能力和/或内存，并且如果扫描被中断，则用户可能不得不重新开始漫长的扫描过程。

所以，可以通过单独扫描多个区域（即在多个扫描会话中）来创建多个区域的合并3D地图。但由于特定原因，获取和注册重叠区域可能十分困难。首先，如果重叠区域缺乏可识别的landmark，而landmark并不总是可用，则获取可用的重叠区域可能十分困难。其次，用户可能会不正确地扫描重叠区域。即使获取可用的重叠区域，由于所需的处理，自动注册它们可能依然困难，并且基于重叠区域手动合并3D地图可能十分耗时。

针对这一情况，谷歌提出了一种基于3D地图的共同锚定位置（即锚定点）来合并3D地图，在每次3D扫描期间获取位置数据来创建室内空间的多个区域的3D地图。

所述的锚定位置可以是智能设备的位置，例如智能家居设备。可以通过基于执行扫描的移动计算设备和智能设备之间的超宽带（UWB）通信的位置追踪来获取位置数据。

图2是包括移动计算设备和配置为室内定位系统（IPS）的智能设备的室内空间的平面图。

如图2所示，移动计算设备210可以在室内空间200的区域（即卧室）内移动，而智能设备220保持位于固定位置。智能设备位于锚定位置。锚定位置可以在室内空间200内，又可以在室外空间200外。例如，相邻室内空间中的智能设备（未示出）可以用作锚点。

移动计算设备210和智能设备220配置为通过UWB通信链路230进行通信。设备之间的UWB通信可以用于定位和追踪移动计算设备210相对于智能设备220的位置（即位置）。例如，移动计算设备210可以在区域的3D扫描期间定位并追踪其相对于智能设备的位置。

移动计算设备210和智能设备220可以各自包括至少一个UWB标签（即UWB模块）。UWB标签可以配置为经由UWB通信来发送和接收信息。所述信息可以用于确定移动计算设备210和/或智能设备220的相对位置。

UWB位置传感器（即UWB传感器）可以基于UWB通信来确定移动计算设备210和智能设备220之间的范围（r）。例如，范围（r）可以基于在移动计算设备210和智能设备220之间交换信息所花费的往返时间（RTT）。

在一个实施例中，UWB位置传感器可以确定角度（0）以及范围（r）。角度可以是相对于固定坐标系225（x，y，z），而固定坐标系可以位于锚位置（如图2所示）或者位于偏离锚位置的已知位置。

确定角度（θ）可以基于到达时间差（TOA）。UWB位置传感器可以配置有排列成阵列的多个天线，使得多个天线中的每个天线在不同的时间接收UWB信号。通过计算到达时间差，可以确定与角度（θ）相对应的UWB信号的入射角。

所述测量可以进一步包括去除多径信号的步骤，并且可以扩展到其他维度。例如，UWB通信可以帮助确定两个设备（未示出）之间的相对仰角。

在一个实施例中，IPS包括多个智能设备（即多个锚点位置）。因此，UWB通信可以包括智能设备标识信息（即设备ID），使得移动计算设备210可以确定与每个智能设备的适当相对位置。多个智能设备的使用可以允许基于移动计算设备和每个智能设备之间的范围进行三角测量。

另外，使用多个智能设备可以允许检测智能设备的移动。例如，每个智能设备可以监视其他智能设备的位置，并且智能设备的移动可以触发智能设备更新/修改其位置，和/或更新/修改设备ID。

图3是UWB标签的框图。所示的UWB标签可以集成为移动计算设备和/或智能设备的一部分，或者集成为耦合到移动计算设备或智能设备的独立设备。

UWB标签300可以包括处理器310，存储器320。当UWB标签300集成为移动计算设备或智能设备的一部分时，处理器310可以实现为移动计算装置或智能设备中的中央处理单元（CPU）。例如，配置为在AR眼镜中提供UWB标签功能的组件可以利用AR眼镜的中央处理单元。

UWB标签300同时可以包括以硬件（例如，逻辑电路）或软件（例如，循环计数器）实现的时钟315。时钟315可以控制数字处理的时序，并且可以用作时间戳，以用于计算事件的时序。所述事件可以对应于UWB标签300的通信，例如往返时间。

UWB标签300可以进一步包括惯性测量单元（IMU 390）。IMU 390可以包括一个或多个加速度计和磁力计，其配置为测量UWB标签300的移动和定向。IMU 390可以是移动计算设备或智能设备的IMU。例如，在AR眼镜中提供UWB标签功能的组件可以利用AR眼镜的IMU。

返回图2，UWB位置数据可以与移动计算设备210收集的3D扫描数据一起存储，并用于重建注册到固定坐标系225的3D地图。因为移动计算设备可以用于在不同时间进行多次扫描，并且可以使用各种智能设备作为锚点，所以可以有多种方式来识别、存储和合并数据，以生成室内空间200中的多个区域的3D图。

图4示出了用于室内空间的3D扫描场景。室内空间400包括位于第一固定位置的第一智能设备410和位于第二固定位置的第二智能设备420。

移动计算设备430配置为对室内空间400中的区域进行3D扫描。移动计算设备430同时配置为确定其相对于第一智能设备410和相对于第二智能设备420的位置。因此，3D扫描可以生成注册到第一锚位置（即第一智能设备410）和/或第二锚位置（例如第二智能设备420）的3D地图。

注册到相同锚位置的3D地图可以合并，以形成包括更多信息的合并的3D地图。例如，合并的3D地图可以包括在第一3D扫描期间扫描的室内空间的第一房间，以及在第二3D扫描期间被扫描的室内房间的第二房间。

注册的3D地图的合并同时可以允许在不同时间生成部分3D地图，然后随着时间的推移合并在一起以形成更完整的3D地图。例如，合并的3D地图可以包括在第一扫描期间扫描的第一房间的第一部分3D扫描，以及在第二扫描期间扫描第一房间的第二部分3D扫描。换句话说，合并的3D地图可以包括比其组成地图中的每一个更多的区域和/或更多的细节。

如图4所示，移动计算设备430对室内空间400的第一房间（即卧室401）进行第一3D扫描431。在第一3D扫描431期间，移动计算设备430基于与第一智能设备410的UWB通信来收集相对位置数据。

如上所述，在第一3D扫描期间，移动计算设备430同时可以基于与第二智能设备420的UWB通信来收集相对位置数据。

在不同的时间，移动计算设备430对室内空间400的第二房间（即办公室402）进行第二3D扫描432。在第二3D扫描432期间，移动计算设备430基于与第一智能设备410的UWB通信来收集相对位置数据。

每个3D扫描产生3D扫描数据，而3D扫描数据可以包括IMU数据、相机数据和/或深度传感器数据的某种组合。3D扫描数据可以与UWB位置数据相关联，UWB数据可以包括相对于锚位置的距离和/或方向。位置数据可以通过其ID来识别，以指示锚位置。

图5示出了用于从图4所示的3D扫描场景生成合并3D地图的方法流程图。

如上所述，第一3D扫描产生第一数据集501，第一数据集包括卧室401的3D扫描数据（即3D-data）和相对于第一智能设备410的位置数据（即POS-data（ID＝1））。第一3D扫描同时产生包括卧室401的3D扫描数据（即3D-data）和相对于第二智能设备420的位置数据（即POS-data（ID＝2））的第二数据集502。

办公室402的3D扫描产生第三数据集503，第三数据集合503包括办公室402的三维扫描数据（即3D-data）和相对于第一智能设备410的位置数据（即POS-data（ID＝1））。

第一数据集501、第二数据集502和第三数据集503可以存储在存储器520中，并用于以后的重建和合并。来自每个3D扫描的数据可以存储，而不重建为3D地图。换句话说，每次扫描的原始数据进行存储，而不重建为3D地图。这种方法具有优点，因为存储的数据处于原始状态，并且可以根据需要进行重建和合并。

如图5所示，所述方法还包括重建和合并过程530，其中将原始数据转换为合并的3D图。重建/合并过程530可以包括在数据集中搜索共享坐标系的数据集。

如图所示，重建和合并过程530对第一数据集501和第三数据集503进行操作，因为每个数据集的位置数据具有相同的标识符（ID＝1）。重建和合并过程530的输出是合并的3D地图510，其表示卧室401和办公室402在图4中的空间布置和定向。合并后的3D地图510可以是3D格式（例如obj）。

图8示出了来自图4所示的3D扫描场景的合并的3D地图的应用。

如图8所示，位于第一锚位置的第一智能设备追踪多个智能设备的位置。所示的多个智能设备包括第一智能扬声器810、第二智能扬声器820和一副AR眼镜830（由用户佩戴）。

每个智能设备可以追踪其自身或者被追踪以获得其相对于智能家居集线器801的位置。例如，使用UWB的室内定位可以确定第一智能扬声器810位于第一位置（x1，y1，z1），第二智能扬声器820位于第二位置（x2，y2，z2），并且（用户佩戴的）一副AR眼镜830位于第三位置（x3，y3，z3）。

可以将所确定的位置与合并的3D地图750进行比较。另外，可以将所确定的位置与通过标记确定的附加信息进行比较。例如，应用程序可以基于第一位置和第二位置与合并3D地图750中的标记区域的比较得出第一智能扬声器810在卧室中，而第二智能扬声器820在办公室中。

合并的3D地图750同时可以帮助定义室内空间的边界。例如，因为第三位置在由合并的3D地图定义的区域内，所以应用程序可以确定AR眼镜830（由用户佩戴）在室内空间的边界内。

应用程序可以使用智能设备的推断位置来影响它们的操作方式。例如，因为AR眼镜830在室内空间的边界内，所以应用程序可以自动向用户提供功能（即访问），以便当用户说“嘿，在办公室的PC播放音乐”时，命令就会马上执行。

为了执行该命令，应用程序可以配置第二智能扬声器820以基于其在办公室中的位置来播放音乐。第一智能扬声器810配置为基于其在卧室中的位置而保持静音。

除了区域之外，可以基于识别的对象来标记合并的3D地图中的特定位置。如图所示，第四位置（x4，y4，z4）可以基于在所述位置识别的对象进行标记。相对于合并的3D地图750追踪智能设备的应用程序可以将智能设备配置为，当智能设备移动靠近（例如，＜1米）对象时改变功能。例如，当AR眼镜830（用户）移动靠近锻炼机850时，来自先前锻炼的统计数据可以显示在AR眼镜的AR显示器之上。

图9是用于生成合并3D地图的方法流程图。

方法900包括选择用于扫描的区域。所述选择可以包括将移动计算设备定位在室内空间的区域内用于扫描。

所述同时包括使用移动计算设备执行区域的3D扫描。3D扫描可以包括在传感器捕捉关于所述区域和移动计算设备的信息时移动移动计算设备。

所述方法同时包括在3D扫描期间使用UWB位置传感器相对于锚位置定位移动计算设备。定位可以包括使用UWB信号计算移动计算设备，以及配置用于UWB并且位于锚定位置的智能设备之间的范围和/或角度。

所述方法同时包括生成区域的3D地图。3D地图可以包括相对于基于锚位置的坐标系的3D点。

可以重复该程以生成3D地图的集合。

最后，合并具有相同锚定位置的3D地图以形成合并的3D地图。

相关专利：

Google Patent | Systems and methods for generating three-dimensional maps of an indoor space

名为“Systems and methods for generating three-dimensional maps of an indoor space”的谷歌专利申请最初在2021年8月提交，并在日前由美国专利商标局公布。