动画3D模型错误地跟随ARKit场景的运动 - 腾讯云开发者社区 - 腾讯云

开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

苹果的增强现实框架：ARKit

ARKit解决了模型定位难的问题，结合CoreMotion运动数据与图像处理数据，来建立一个非常准确的SLAM系统，构建虚拟世界和现实世界之间的映射。...同时能够分析环境自动给模型添加光源，实际效果还是比较惊艳的。从结构上看，ARKit提供了一套简单易用的AR框架，但框架之外，需要很多的三维空间、游戏编程、3D模型、GPU渲染的知识来理解AR技术。...AR的能力，由三部分组成： 3D渲染空间定位与方向追踪场景理解（检测与识别）目前看 ARKit 只提供了3D渲染的入口，其他两个都被封装起来了，所以目前来看渲染是差异化的主要途径，但不唯一。...ARKit最佳实践模型与骨骼动画如果是使用.dae 转 .scn 文件，资源中包含骨骼动画时，加载.scn文件到 scene 中会丢失动画，需要在加载时手动恢复一下（方法）。...设计骨骼动画是，要求设计师把动画放在根节点上，不要分散地放在每个bone上，这样可以方便地读取出动画到CAAnimation。

3.4K0 0

ARKit 到底怎么实现的

app or game 集成iOS设备摄像头和运动功能，在你的应用程序或游戏中产生增强现实体验我写过一个小实例100行代码实现手机AR,有兴趣的可以去看看,这个demo 也是ARKit 的原理介绍...ARKit 重要的类介绍 ARSCNView 显示3D 内容的视图继承SCNView ,SCNView 继承UIView,所以这个视图可以是任何UIView的子视图,所以你可以像使用UIView一样使用它...AR会话连续地从设备摄像机捕获视频帧。...对于每一帧，ARkit分析图像,通过从装置的运动传感硬件来判断设备的实际位置数据 ARCamera 代表 AR会话中捕获的视频帧的摄像机位置和成像特性的信息 ARSessionConfiguration...场景配置,这种配置下,手机位置不动,旋转手机,能够看到,模型相对环境的角度不会改变,但是如果移动手机,模型的位置就会变化 ARWorldTrackingSessionConfiguration

1.1K1 0

您找到你想要的搜索结果了吗？

是的

没有找到

ARKit和CoreLocation：第一部分

ARKit结合了设备运动跟踪，摄像机场景捕捉，高级场景处理和显示便利性，简化了构建AR体验的任务。在iOS 11中，Apple已经将ARKit的强大功能释放到了iOS开发社区。...ARKit将图像数据与运动跟踪数据结合起来，以计算iPhone的位置。 [ARAncho - R ****：一种ARAnchor是在保持了不管相机（理论上）的运动或位置的真实世界的位置。...image.png worldAlignment - Apple Docs 创建AR体验取决于能够构建用于将对象放置在虚拟3D世界中的坐标系，该虚拟3D世界映射到设备的真实位置和运动。...SceneKit 关于ARKit最酷的事情之一是它与Apple现有的图形渲染引擎很好地集成：SpriteKit，Metal和SceneKit。我最常用的是SceneKit，它用于渲染3D对象。 ?...您可以使用其 radius 属性在所有三个维度中定义球体的大小。 SCNGeometry：可以在场景中显示的三维形状（也称为模型或网格），附加材料定义其外观。

2.3K2 0

《 iPhone X ARKit Face Tracking 》

我们可以使用该矩阵来放置虚拟3D模型以实现贴合到脸部的效果（如果使用SceneKit，会有更便捷的方式来完成虚拟模型的佩戴过程，后面会详述）。...当检测到人脸之后，我们可以通过delegate更新人脸anchor的函数来同步更新我们自定义的3D面皮或者3D模型。...我们可以在人脸node上添加其他3D模型（比如3D眼镜）的node使其跟随人脸移动，可以达到非常逼真的效果，SceneKit支持多种格式的模型加载，比如obj、dae等。...如果使用的是dae且不是放在bundle里面，需要提前用scntool压缩，模型加载及动画播放所遇到的坑此处不赘述。...需要注意的是，由于ARKit只对人脸区域进行建模，在3D模型设计的时候还需去掉一些不必要的部件：比如眼镜的模型就不需要添加镜脚，因为耳朵部分并没有东西可以去做遮挡。

3.6K0 0

iOS ARKit教程：用裸露的手指在空中画画

完成后，用户将能够将其绘图转换为3D对象，如下面的动画所示。我们的iOS ARKit示例的完整源代码可以在GitHub上找到。 ? image 我们为什么要关注iOS ARKit？...VIO是一种技术，通过该技术，相机框架与运动传感器融合，以跟踪设备在3D空间中的位置。通过检测特征，或者换句话说，图像中具有高对比度的边缘点（例如蓝色花瓶和白色桌子之间的边缘）来跟踪来自相机帧的运动。...它将来自设备相机的实时视频输入渲染为场景背景，同时它自动将SceneKit空间与现实世界相匹配，假设该设备是这个世界中移动的相机。...在下一节中，我们将解释如何检测平面，以及如何相应地定位焦点平方。在ARKit中检测平面 ARKit可以检测新平面，更新现有平面或删除它们。...现在，我们获得了在屏幕上给出2D点的情况下在检测到的曲面上放置3D对象所需的所有信息。那么，让我们开始画画。画画让我们首先解释在计算机视觉中绘制跟随人类手指的形状的方法。

2.2K3 0

《iPhone X ARKit Face Tracking》

我们可以使用该矩阵来放置虚拟3D模型以实现贴合到脸部的效果（如果使用SceneKit，会有更便捷的方式来完成虚拟模型的佩戴过程，后面会详述）。...当检测到人脸之后，我们可以通过delegate更新人脸anchor的函数来同步更新我们自定义的3D面皮或者3D模型。...我们可以在人脸node上添加其他3D模型（比如3D眼镜）的node使其跟随人脸移动，可以达到非常逼真的效果，SceneKit支持多种格式的模型加载，比如obj、dae等。...如果使用的是dae且不是放在bundle里面，需要提前用scntool压缩，模型加载及动画播放所遇到的坑此处不赘述。...需要注意的是，由于ARKit只对人脸区域进行建模，在3D模型设计的时候还需去掉一些不必要的部件：比如眼镜的模型就不需要添加镜脚，因为耳朵部分并没有东西可以去做遮挡。

2K3 0

ARKit

ARKit结合了设备运动跟踪，摄像机场景捕捉，高级场景处理和显示便利性，简化了构建AR体验的任务。您可以使用这些技术使用iOS设备的后置摄像头或前置摄像头创建多种AR体验。...例如，您可以在摄像机视图中显示用户的面部并提供逼真的虚拟遮罩。您还可以省略摄像机视图并使用ARKit面部表情数据为虚拟角色设置动画，如iMessage的Animoji应用程序中所示。...主题第一步验证设备支持和用户权限确保您的应用可以使用ARKit并尊重用户隐私。 class ARSession 一个共享对象，用于管理增强现实体验所需的设备摄像头和运动处理。...protocol ARTrackable 场景中的真实世界对象，ARKit跟踪位置和方向的变化。相机和场景细节 class ARFrame 具有位置跟踪信息的视频图像作为AR会话的一部分被捕获。...面部追踪使用iPhone X上的TrueDepth相机创建响应用户脸部和面部表情的AR体验。创建基于脸部的AR体验使用面部跟踪AR会话提供的信息来放置3D内容并为其添加动画。

2.2K2 0

ARKit：增强现实技术在美团到餐业务的实践

图4 6DoF 不仅如此，ARKit 还使用了 VIO（Visual-Inertial Odometry）来提高设备运动追踪的精度。...在这种模式下 ARKit 内部会根据设备偏航角的朝向与地磁真北（非地磁北）方向的夹角不断地做出调整，以确保 ARKit 坐标系中 -Z 方向与我们真实世界的正北方向吻合。...除了可以处理 3D 物体的物理碰撞和动画，还可以呈现逼真的纹理和粒子特效。SceneKit 可以用于制作 3D 游戏，或者在 App 中加入 3D 内容。...ARSCNView 是 SCNView 的子类，它做了三件事：将设备摄像头捕捉的每一帧的图像信息作为 3D 场景的背景将设备摄像头的位置作为 3D 场景的摄像头（观察点）位置将 ARKit 追踪的真实世界坐标轴与...3D 场景坐标轴重合卡片信息 SceneKit 中使用 SCNNode 来管理 3D 物体。

2.1K2 0

ARKit 的配置-在您的AR项目的幕后

在本节中，我们将看看如何在后面配置提供的ARKit模板。我们将发现什么是世界跟踪和AR会话。同样，我们将学习如何将一些调试选项应用于场景中的指导。...下载要学习本教程，您需要Xcode 10或更高版本，以及导入3D模型的最终Xcode项目。您可以下载本节的最终Xcode项目，以帮助您与自己的进度进行比较。...世界跟踪配置在ViewWillAppear中，设置了ARKit的重要配置。该ARWorldTrackingConfiguration通过使用其照相机赠送设备的位置和方向，以及它的运动，并将此。...统计信息提供有关场景渲染性能的信息，如每秒帧数（fps），动画，物理等.Apple建议将fps设置为60.在您的设备上，您可以单击+按钮展开统计栏更多细节。...特征点默认照明的ARKit现场了解一部分，如果你打开autoenablesDefaultLighting，场景将添加在需要更清楚地看到虚拟对象灯。另外，使它自动更新那些灯光。

2.5K2 0

神“乐”马良：AI直接将音频转换成动画

我们需要有一套很好的训练视频，需要能够准确地预测这些视频中的身体姿势，然后建立一个能够找到音乐和身体之间的相关性的算法，以进一步预测运动。...在我们的场景中，我们需要带一位钢琴家到实验室，在他们的手指和身体关节处安装传感器，然后请他们演奏几个小时。这种方法在实践中很难执行，也不容易推广。...我们使用ARkit构建了一个增强现实应用程序，它可以在手机上实时运行。给定一系列2D预测点和身体的动画化身，动作便被应用到化身上。我们使用的化身是带有人体骨骼装置的3D人体模型。...为了获得好的结果，过滤掉训练数据中的所有糟糕的帧（错误的骨架、错误的人体检测、错误的人体识别）是很重要的。可以看到，只要过滤掉坏数据，误差就会显著减少。...因此，被遮挡和看不见的点不能很好地预测。在视频的高速度和高频率部分，身体姿态检测器可能会产生错误，运动模糊也是如此。

1.3K0 0

ARKit 初探

ARKit主要负责AR计算，它将ARCamera捕获的视频帧当作背景，使用视觉惯性测距（VIO）来精确跟踪周围的世界，进行坐标转换，场景搭建及平面的捕获；然后，通过 SceneKit(3D)/SpritKit...快速移动通常情况下检测和估算 3D 姿态只会借助图片，如果摄像头移动太快图片就会糊，从而导致追踪失败。但 ARKit 会利用视觉惯性里程计，综合图片信息和设备运动传感器来估计用户转向的位置。...ARKit.png SceneKit 的主要作用是将虚拟物体展示在3D场景中。...数组的结果排序是由近到远。根据2D坐标点搜索3D模型位置。当我们在手机屏幕点击某一个点的时候，可以捕捉到这一个点所在的3D模型的位置。为什么返回值是一个数组呢？...这是因为手机屏幕一个是长方形的二维空间，而相机捕捉到的是一个由这个二维空间映射出去的长方体。我们点击屏幕一个点，可以理解为在这个长方体的边缘射出一条线，这一条线上可能会有多个3D物体模型。

2.4K2 0

ARKit 简介

那么，相比之下，苹果放出的ARKit会有什么新意呢？ ARKit主要有三层核心技术技术：第一层：快速稳定的世界定位，包括实时运算，运动定位，无需预设（软硬件）。 ?...处理器A9及以上（6S机型及以上）实现步骤一个简单的AR场景实现所需要的技术和实现步骤如下： 1.多媒体捕捉现实图像：如摄像头 2.三维建模:3D立体模型 3.传感器追踪:主要追踪现实世界动态物体的六轴变化...而ARKit的核心就是ARSession，下面我们将一步步实现一个简单的ARKit场景。...ARKit提供了两种主要AR技术Content Technology 分别是： Scenekit：基于3D场景 SpriteKit：基于2D场景 3，然后系统就为我们新建了一个简单的项目和场景...接下来将“pict1.jpg”和“pict2.jpg”替换我们所准备好的图片。 ? Xcode默认的AR项目自带了一个3D模型，我们需要用我们刚创建的模型替换它。

2.5K6 0

ARKit示例 - 第2部分：平面检测+可视化

要查看所有内容，请观看以下视频： youtube 注意：假设您跟随此处的代码：https://github.com/markdaws/arkit-by-example/tree/part2 计算机视觉概念...然而，ARKit使用称为视觉 - 惯性测距的东西以及图像信息ARKit使用设备运动传感器来估计用户转向的位置。这使得ARKit在跟踪方面非常强大。...在构造函数方法中，我们创建平面并相应地调整它的大小： // Create the 3D plane geometry with the dimensions reported // by ARKit in...image.png 下面是与上面相同的场景，但几秒钟后，ARKit将所有上述平面合并到一个平面上。...下一个在下一篇文章中，我们将使用这些平面开始在现实世界中放置3D对象，并且还可以更多地了解应用程序的对齐。

2.9K2 0

腾讯混元文生视频对外开放，企业用户可通过腾讯云接入

在与国内外多个顶尖模型的评测对比显示，腾讯混元视频生成模型在文本视频一致性、运动质量和画面质量多个维度效果领先，在人物、人造场所等场景下表现尤为出色。...比如，在冲浪、跳舞等大幅度运动画面的生成中，腾讯混元可以生成非常流畅、合理的运动镜头，物体不易出现变形；在光影发射上基本符合物理规律，在镜面或者照镜子场景中，可以做到镜面内外动作一致。...混元视频生成模型适配了新一代文本编码器提升语义遵循，其具备强大的语义跟随能力，更好地应对多个主体描绘，实现更加细致的指令和画面呈现；采用统一的全注意力机制，使得每帧视频的衔接更为流畅，并能实现主体一致的多视角镜头切换...；通过先进的图像视频混合VAE（3D 变分编码器），让模型在细节表现有明显提升，特别是小人脸、高速镜头等场景。...腾讯混元视频生成模型画面具备高质感、高语义遵循、动态画面流畅以及更好的原生镜头转换效果，可用于工业级商业场景例如广告宣传、动画制作、创意视频生成等场景。

2531 0

GME 虚拟人互动方案来了！Avatar 动起来超真实

做出了 avatar 模型，但不知道怎么通过真人驱动虚拟世界 avatar。业界方案依赖苹果 ARKit 实现脸部动捕，但广泛的 Andorid 用户体验无法满足。...通过 GME 的面部动作捕捉、语音采集和处理、动作数据与语音流同步传输、avatar 模型驱动，结合游戏自身的虚拟形象，能实现玩家在游戏中的面部表情、语音和 3D 虚拟形象的实时同步。...自研的 AI 面部动捕和模型驱动能力，支持 iOS、Android、MacOS、Windows 等所有系统和平台，不再依赖于苹果 ARKit 而损失安卓和 Windows 玩家体验。高质量，更真实。...传统虚拟人互动方案中，数据采集和模型驱动过程涉及到的动画渲染、音视频数据传输等环节，成本高、速度慢，影响体验。GME 虚拟人互动方案采用传输音频帧、脸部采集数据点驱动虚拟人模型，传输量小，成本低。...满足各种玩法场景。虚拟人实时互动方案针对开放世界互动、桌游、聚会游戏、运动游戏、音乐节等各类游戏中的多人在线场景，还提供 3D 语音、范围语音、多房间、即时变声等功能，全方位满足元宇宙游戏互动场景。

1.6K2 0

GME 虚拟人互动方案来了！Avatar 动起来超真实

做出了 avatar 模型，但不知道怎么通过真人驱动虚拟世界 avatar。业界方案依赖苹果 ARKit 实现脸部动捕，但广泛的 Andorid 用户体验无法满足。...通过 GME 的面部动作捕捉、语音采集和处理、动作数据与语音流同步传输、avatar 模型驱动，结合游戏自身的虚拟形象，能实现玩家在游戏中的面部表情、语音和 3D 虚拟形象的实时同步。...自研的 AI 面部动捕和模型驱动能力，支持 iOS、Android、MacOS、Windows 等所有系统和平台，不再依赖于苹果 ARKit 而损失安卓和 Windows 玩家体验。高质量，更真实。...传统虚拟人互动方案中，数据采集和模型驱动过程涉及到的动画渲染、音视频数据传输等环节，成本高、速度慢，影响体验。GME 虚拟人互动方案采用传输音频帧、脸部采集数据点驱动虚拟人模型，传输量小，成本低。...满足各种玩法场景。虚拟人实时互动方案针对开放世界互动、桌游、聚会游戏、运动游戏、音乐节等各类游戏中的多人在线场景，还提供 3D 语音、范围语音、多房间、即时变声等功能，全方位满足元宇宙游戏互动场景。

2.2K1 0

手机秒变投篮机，还能模拟投篮真实手感，腾讯微视技术「家底」到底有多厚？

本质上说就是要在三维场景中找到一个有一定特征点的依附平面（比如有花纹的地板），确定其坐标位置，然后将依附平面映射到二维屏幕上，再在平面上绘制想要展示的图形或者 3D 模型。...确定依附平面方面腾讯微视采用的是「水平面 AR 算法」，通常的做法是使用 SLAM 算法一边对三维场景进行扫描建图，一边定位水平面位置。定位完成后在水平面上放上 AR 模型。...作为对比，ARkit 和 ARcore 都没有这样的功能，ARkit 和 ARcore 都只是单纯的放置 AR 模型，没有用手交互。...骨骼动画：「神笔马良」让纸片人动起来 ‍ 除了最新上线的 AR 篮球，腾讯微视还有很多新奇的 AR 应用，比如「AR 纸片人」挂件。可将画中的静态形象变成 3D 模型，模型还能抖动跳跃。 ?...骨骼动画负责给绑定之后的模型赋予各种各样的动作，比如起身、跳跃、摆手。这里腾讯微视也给算法做了简化，只解算骨骼最末的子节点来驱动骨骼的变化，减少了资源占用率，甚至还可以应用于美颜等特效中。

1K1 0

苹果推出突破性新技术，使开发人员更加轻松快捷地创建应用

ARKit 3，RealityKit和Reality Composer是高级工具，旨在让开发人员更轻松地为消费者和商业应用创建引人入胜的AR体验。...增强现实体验 ARKit 3将人置于AR的中心。借助动作捕捉，开发人员可以将人们的动作集成到他们的应用程序中，通过人物遮挡，AR内容将自然地显示在人们面前或后面，以实现更加身临其境的AR体验。...它具有逼真的渲染效果、令人难以置信的环境映射以及对噪音和运动模糊等相机效果的支持，使得虚拟内容几乎与现实难以区分。 ?...Reality Composer是一款针对iOS、iPadOS和Mac的功能强大的新应用程序，它让开发人员可以在没有3D体验的情况下轻松地创建原型并生成AR体验。...通过一个简单的拖放界面和一个高质量的3D对象和动画库，Reality Composer允许开发者放置、移动和旋转AR对象来创建AR体验，这些体验可以直接集成到Xcode中的一个应用程序中，也可以导出到AR

2.1K2 0

SceneKit 场景编辑器-为您的AR体验构建3D舞台

为了能够在应用程序中添加3D模型，我们需要一个3D渲染器框架。在本节中，我们将了解SceneKit的场景编辑器。这是一个很好的空间，可以帮助您可视化3D模型，编辑它，播放动画，模拟物理等。...文件夹art.scnassets 在左侧的Project Navigator中，art.scnassets是存储3D模型，纹理，动画等的文件夹。...您可以将文件夹命名为您想要的任何名称，但这是它在Xcode的ARKit模板中的标签，它是一个非常好的标准。名称本身就是解释性的。如果展开文件夹，请注意此处存储了飞船场景。...节点检查器：您可以应用转换，可见性或添加动画。属性检查器：您可以更改几何设置。材质检查器：您可以更改颜色并应用纹理。物理检查器：您可以将物理学应用于3D模型。...编辑是设计师最好的朋友。但是，它非常适合修改场景的属性，但不能用于创建3D内容。其他3D建模程序是设计杰作的地方。在下一节中，我们将导入已经制作的模型。

5.6K2 0

亚马逊的这口安利我吃得心甘情愿

在一个私人的纽约顶级时尚活动中，亚马逊时尚公司展出了一款基于苹果ARKit打造的AR应用。通过该AR应用，用户可以在任何一个平坦的地面，学习健身教练标准的动作与姿势，以进行日常锻炼。...在运动教学的同时，旁边会无缝展示相关各品牌运动服。用户可以点击不同的服装，以观看虚拟教练上身的效果。如当虚拟教练抬起腿时，运动裤也会随着它的动作而缩到小腿中段。...没想到，最后能够制作出一个动画效果的AR应用，这应该是目前以来，开发人员是用高质量相机制作AR应用，最完美的例子吧。”...其还进一步补充道，“使用完整的环绕相机阵列可以让我们即时捕捉所需的几何和纹理信息。每个瞬时捕获产生约3千兆像素的环绕声数据，可以创建一个高品质的3D模型。”...不得不说，亚马逊这招实在是高，在特殊的场景中潜移默化的植入广告，如此具有针对性，提高商品的销售率不说，还不会让消费者心生厌烦。这种场景式的消费在未来，或许真的有可能成为一种主流消费形态。

6515 0

点击加载更多

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭