苹果专利为AR/VR和手机之间的不对称环境呈现提供解决方案

环境的不对称表示

（映维网Nweon 2023年11月17日）XR会话可以由一系列设备访问。例如，诸如头显这样的设备能够显示会话的XR视图，而诸如智能手机这样的其他设备只会呈现XR视图。对于XR视图和非XR视图的这种非对称性，苹果在名为“Asymmetric presentation of an environment”专利申请中提出了一种相应的呈现方法。

图3示出了通信环境300。用户可以使用具有各种访问XR会话功能的各种设备访问XR会话。作为示例，第一用户可以使用诸如笔记本这样的第一通信设备302，并使用非XR图形用户界面GUI 304访问XR会话。第二用户可以使用诸如头显这样的第二通信设备306，并使用XR GUI 308访问XR会话。

描述XR会话的共享虚拟元素的信息可以根据给定设备进行显示，并可以基于设备的属性和功能进行调整。

图4A示出了XR会话的非XR第一视图400，图4B示出了相同XR会话的XR第二视图450。

通常，在XR会话中，XR会话的重点是XR会话的内容。为了增强参与者与XR会话内容交互的能力，场景图可以对共享虚拟元素进行编码，然后描述相对于共享虚拟元素的三维关系。

相同的场景图可以用于渲染第一个视图400和第二个视图450。例如，假设视图来自同一POV，不能够显示XR视图的第一设备可以根据场景图呈现第一个视图400中所示的视图，而能够显示XR视图的设备可以根据场景图呈现第二个视图450中所示的视图。

作为另一个例子，相同的场景图可以包括一个或虚拟对象，用于显示虚拟对象的虚拟对象的描述，以及它们各自的位置。第一设备可以在虚拟元素UI 408中的列表中显示所述虚拟对象的全部或子集，而第二设备可以在第二视图450中显示所述虚拟对象。能够参与XR会话的设备可以包括一个特征映射层，以帮助设备确定如何呈现场景图中描述的元素。

特征映射层可用于转换设备的场景图的各个方面。特征映射层可能是特定于设备或设备类型的，并且可以定义设备如何呈现XR会话的共享虚拟元素。

共享元素在设备的呈现方式取决于设备的功能。例如，头显能够显示XR会话的3D表示，而特征映射层可以解释这一点。然后，可以将头戴式系统配置为呈现XR会话的视图，并在空间上围绕XR会话的3D设置排列共享虚拟元素。然后，头戴式系统的用户可以在不同的共享虚拟元素（例如视频元素402B、游戏元素454、用户1、用户2和用户3）之间进行空间机动。

诸如平板电脑和智能手机等则能能够将2D、非XR视图显示到XR会话的3D设置中，从而使XR会话的空间性扁平化。相应的特征映射层可以指示这样的设备呈现3D设置的3D表示，然后通过光栅化、光线追踪或以其他方式生成3D设置的2D视口406来显示2D第二视图450。

在本例中，用户1的视口406的位置对应于用户1在XR会话的3D设置中的Avatar的位置。当用户1在视口406中与视频元素402A交互时，XR的3D设置中用户1的Avatar正在查看相应的视频元素402B。

在XR第二视图中，用户可以指向、突出显示共享的虚拟元素或与之交互。在这个示例中，用户2与视频元素402B交互。例如，当用户2触摸视频元素402B时，可以确定相对于视频元素402B的相对位置，并且可以在场景图中编码所述相对位置。通过编码相对于虚拟元素的交互，交互可以跨设备转换，但在分辨率、宽高比、大小等方面存在差异。

在一个实施例中，进入XR会话的非XR视图比XR视图更受空间限制，并且在使用非XR视图时，可能更难以看到XR会话中的其他用户，以及可能与同一虚拟元素交互的其他用户。

为了帮助解决这类问题，非XRE视图可以包含一个UI元素，以指示哪些其他用户正在参与XR会话。

XR会话的重点通常放在共享虚拟元素，而特征映射包括表示特定共享虚拟元素的替代方法，而不是围绕3D设置在空间排列。在一个实施例中，用户在XR会话中与之交互的共享虚拟元素可以从场景图中确定。交互式共享虚拟元素可以收集并显示在2D第二视图450中。

通过收集和显示交互共享虚拟元素，用户可以更容易地在XR会话中找到他们可能与之交互的虚拟元素。

在一个实施例中，用户可以使用虚拟元素UI与另一个用户进行交互。参考图6，用户1可以从虚拟元素608中选择用户2。作为响应，可以将第一视图600中显示的视口606移动到面向用户2，并且可以根据所述选择突出显示对应于用户2的用户元素616。

在一个实施例中，用户2可以在移动视口606之前获得一个批准交互的选项。在第二视图650中，可以移动用户1的Avatar以面对用户2的Avatar。

可以为每个用户捕获不同的运动数据。例如，用户1可以通过包含摄像头和/或点投影仪的平板设备参与XR会话。可以分析由摄像头和/或点投影仪捕获的图像，从而生成运动数据，例如由平板设备生成用户的面部。

参与的设备可以配置为从各种传感器收集信息，并从相关信息生成通用格式的运动数据。另一参与设备可以接收运动数据并使用运动数据以使与第一用户对应的Avatar动画化。

在一个实施例中，交互可以由通过XR视图访问XR会话的用户发起。例如，用户2可能会尝试与用户1互动，并将他们的Avatar转向用户1，按下按钮，尝试触摸用户1的Avatar等等。当用户2发起与用户1的交互时，可以将用户1的视口606移动到面向用户2的位置，并突出显示虚拟元素UI 608中与用户2对应的用户元素616。

图7示出了在多用户通信会话中进行交互的第一技术700。

在702，第一通信设备接收与第一通信设备的第一用户和第二通信设备的第二用户之间的多用户通信会话相关联的数据，其中，与多用户通信会话相关联的第一数据配置为呈现为XR图形用户界面或非沉浸式GUI。

在704，第一通信设备确定第一通信设备可以呈现非沉浸式GUI。例如，非XR设备可以确定非XR设备支持XR会话的非XR视图，或者非XR设备不支持XR会话的XR视图。

在706，第一通信设备呈现非XR GUI，非XR GUI包括多用户通信会话中包含的虚拟对象的非xr表示，以及基于与多用户通信会话相关的数据的第二用户表示。例如，非XR设备可以呈现XR会话的非XR视图。

非XR视图可以包括一个虚拟元素UI，并表示用户可以与之交互的虚拟元素，如XR应用程序、其他用户和其他交互式虚拟元素。

在一个实施例中，第一技术700可以包括在第二通信设备接收与多用户通信会话相关联的第二数据。例如，XR设备可以参与XR会话并从XR会话接收数据。

在一个实施例中，数据可以包括描述虚拟环境和XR会话元素的场景图。第二通信设备可以呈现包括基于第二数据的虚拟对象的XR表示和第一用户在第二用户的环境中的Avatar的XR GUI。

第二通信设备可以更新XR GUI，以响应指示第二交互的第二数据来说明Avatar与虚拟对象之间的第二交互。

在一个实施例中，可以在第一通信设备捕获图像数据。例如，第一设备的一个或多个摄像头可以捕获图像数据。第一通信设备可以基于图像数据产生描述第一用户的运动的运动数据。

例如，可以分析摄像头捕获的图像以生成运动数据。所述第一通信设备可将所述运动数据传输至所述第二通信设备。第二通信设备可接收所述运动数据并基于所述运动数据对所述第一用户的Avatar进行动画化。

在一个实施例中，第一通信设备可以更新非XR GUI，以说明第二用户脱离虚拟对象的表示，并表明第二用户不再与所述对象进行交互。

在一个实施例中，非沉浸式GUI基于场景图呈现，并包括一个显示多用户通信会话视图的视口，多用户通信会话中的虚拟对象列表，以及多用户通信会话中其他用户的指示。XR GUI同样基于场景图呈现，并在多用户通信会话中包含三维视图。

相关专利：Apple Patent | Asymmetric presentation of an environment

https://patent.nweon.com/30621

名为“Asymmetric presentation of an environment”的苹果专利申请最初在2023年3月提交，并在日前由美国专利商标局公布。