当直接从usdz文件而不是Reality Composer文件加载模型时，如何在RealityKit中渲染阴影？ - 腾讯云开发者社区

文章/答案/技术大牛

发布

SwiftUI-3D模型加载与显示

介绍在增强现实（AR）应用中，3D 模型的展示是最基础也是最核心的功能之一。无论是家具摆放、产品预览，还是虚拟角色展示，几乎所有 AR App 都依赖于 3D 模型的加载与渲染。...本文将介绍如何使用 SwiftUI 和 SceneKit 框架，在 iOS 应用中加载并展示一个 .usdz 格式的 3D 模型。为什么使用USDZ？...Apple 推荐在 iOS 和 ARKit 应用中使用 .usdz 格式的 3D 模型。它具备以下优势：支持物理渲染（PBR）材质。可直接在 Xcode 和 Quick Look 中预览。...通过 Apple 的 Reality Converter 工具可以将 .obj、.fbx、.gltf、.glb 等格式的模型其转换为 .usdz，方便在项目中使用。...使用SceneKit加载3D模型虽然 ARKit 推荐使用 RealityKit 进行开发，但在非 AR 场景下（如普通模型预览），SceneKit 仍是一个非常强大的工具，支持复杂的模型渲染与交互。

4780 0

【visionOS】从零开始创建第一个visionOS程序

当出现提示时，为项目指定一个名称以及其他选项。当创建一个新的visionOS应用程序时，你可以从配置对话框中配置应用程序的初始场景类型。...当你想要创建3D资产或场景从你的应用程序中显示时，包括一个现实作曲家专业项目文件。使用这个项目文件从原始形状和现有的USDZ资产构建内容。...除了给2D视图更多的深度，你也可以添加静态3D模型到你的2D窗口。Model3D视图加载USDZ文件或其他资产类型，并在窗口中以其固有大小显示它。...加载现有的USDZ资产或在Reality Composer Pro中创建场景，为您的内容合并动画，物理，灯光，声音和自定义行为。...要在你的应用中使用一个Reality Composer Pro项目，把Swift包添加到你的Xcode项目中，并在你的Swift文件中导入它的模块。

4.2K4 0

您找到你想要的搜索结果了吗？

是的

没有找到

苹果的AR新工具RealityComposer开箱体验及操作指南

下面是7步操作指南 STEP01 新建安装Xcode 11，从菜单中选择 Xcode> Open Developer Tool，然后选择Reality Composer。 ?...STEP06 实时预览先把手机升级到ios13，并安装Reality Composer。这样就可以实时在手机上预览虚拟物体。 ?...STEP07 集成到APP 把文件保存为 MixLab.rcproject ，然后打开xcode，选File > New > Project ，选择 Augmented Reality App ?...其中这一句，MixLab.loadML()，稍微解释下，MixLab就是我们的文件名，ML是Scene Name场景名，这个方法是系统自动生成的。直接调用就行。最后，我们看下效果 ?...参考资料 https://developer.apple.com/documentation/realitykit/creating_3d_content_with_reality_composer

5.4K3 1

WWDC19苹果发布会，谁说程序员不能做设计？SwiftUI、AR 3 、ML 3

在设计开发一个app的工作流中，设计稿、需求文档这一环节都被干掉了，设计师可以直接把设计稿完成，给程序员，程序员不用再为1px复现设计稿而烦恼了。...02 AR kit3 利用 ARKit 3，新的 RealityKit 框架，还有新的 Reality Composer app 中的非凡进步，轻松制作原型，创造先进前沿的 AR 体验。...RealityKit 摄影级的真实渲染，环境和镜头特效 Xcode和iOS中增加AR体验变得更加简单。Xcode强化了易用性，方便用户在 XCode 内进行AR开发。此外，支持调用更多 API 接口。...虚拟与现实完美融合，是不是想立马试试？...Reality Composer 是一个方便开发者开发AR的工具现在提供测试版，我们可以在苹果官网申请下载。此APP仅在iOS 13以上可运行。

1.3K2 0

苹果推出突破性新技术，使开发人员更加轻松快捷地创建应用

ARKit 3，RealityKit和Reality Composer是高级工具，旨在让开发人员更轻松地为消费者和商业应用创建引人入胜的AR体验。...Swift代码自动生成，当修改此代码后，对UI的更改会立即显示在可视化设计工具中。现在，开发人员可以看到UI在组装，测试和优化代码时的外观和行为的自动实时预览。...RealityKit是为AR技术从头开始构建的。它具有逼真的渲染效果、令人难以置信的环境映射以及对噪音和运动模糊等相机效果的支持，使得虚拟内容几乎与现实难以区分。 ?...Reality Composer是一款针对iOS、iPadOS和Mac的功能强大的新应用程序，它让开发人员可以在没有3D体验的情况下轻松地创建原型并生成AR体验。...通过一个简单的拖放界面和一个高质量的3D对象和动画库，Reality Composer允许开发者放置、移动和旋转AR对象来创建AR体验，这些体验可以直接集成到Xcode中的一个应用程序中，也可以导出到AR

2.9K2 0

AR技术相对成熟，接下来是内容的AR

另一方面，Snapchat平台支持在AR滤镜上加入直接购买链接，大大加快了从宣传到购买的转化过程。...它可以读取PSD档，当用户将文件导入该应用中，就可看见在3D空间中查看相关的图层堆叠。...ARKit 3.0.之所以能实现人物遮挡与动作捕捉技术，幕后功臣是同样新加入的RealityKit与Reality Composer。...Reality Composer则是适用于iOS，iPad OS和Mac的新应用程序。...从本质上讲，ARCore 在做两件事：在移动设备移动时跟踪它的位置和构建自己对现实世界的理解。

2K2 0

NVIDIA Isaac Sim与Marble加速机器人仿真环境构建

现在，借助生成式世界模型，您可以在极短的时间内从文本提示转换到一个逼真、可用于仿真的世界。...如果没有，World Labs 从其画廊提供示例 PLY 和 GLB 文件。本教程中，我们将使用厨房场景 PLY 和 GLB 文件作为示例。...如果您已经拥有一个包含所需库（如 PyTorch 等）的 Python 环境，也可以选择在该环境中直接运行转换 Python 脚本。...这仅影响场景的视觉效果；物理将使用我们刚刚在场景中设置的碰撞体。场景的几何、物理和光照现在都已就绪：高斯体积提供逼真的视觉效果，而 GLB 碰撞体和地面平面处理物理和阴影。场景现在已准备好添加机器人。...使用 WASD 移动机器人，并验证它是否遵守厨房的几何约束：它应停在地板上，与台面和家具碰撞，而不是掉落到场景中。

1471 0

一文看完 WWDC 2022 音视频相关的更新要点丨音视频工程示例

通过该功能可以向已有的 CDN 列表中添加新的 CDN 路径。配置文件中添加新的 CDN 路径时无需填写完整 URI，只需填写服务器和参数字段支持灵活的 URI 替换规则。...当显示 HDR 的内容时，EDR 并不会直接将 HDR 区域变得更亮，而是识别到 HDR 内容后提高整体屏幕亮度的同时，降低非 HDR 区域的白点值，使得其看起来没有那么亮。...2）回顾了 EDR 的技术方案当渲染时，像素浮点值范围为 [0.0, 1.0] 的 SDR 内容是始终会正常渲染的。(1.0, EDR headroom] 范围的 HDR 内容也是可以渲染的。...此外，还探讨了视频对 Live Text 特性的支持，这个特性可以让我们从视频帧中直接识别和复制出文字，此外还介绍了如何在我们的应用中集成插片广告和播放速度控制能力。...下面从这几个方面展开介绍一下： 1）Fast Resource Loading 现在的游戏和应用很多都需要加载资源素材来进行绘制，将众多的小资源从文件中流式的加载传输到 Metal 资源中是实现高质量视觉效果的一种方案

3.6K1 0

写给开发者的 Vision Pro 评测：易上手，但 UI 设计不够“革命”

就让我们从 WWDC 大会上的《上手构建空间计算应用》主题研讨中寻找答案：https://developer.apple.com/videos/play/wwdc2023/10260 苹果 RealityKit...此外，系统会在检测到注视时在视图上呈现悬停效果，但不会直接与用户所查看的当前应用进行通信。” 有时候，这种“代劳”并不能满足开发需求。...3D 内容的构建框架则是 ARKit 和 RealityKit，它们负责处理跟踪、渲染、物理、动画、空间音频等元素。...苹果还为 VisionOS 推出了一款名为 Reality Composer Pro 的新编辑器，“用于为应用程序预览和准备 3D 内容”。...Tilander 还在会上确认，过程中无需借助任何 Unity 插件，开发者能够直接“将现有内容搬运过来”。

6902 0

如何使用 SwiftUI 构建 visionOS 应用

如下图：Volumes你的应用程序可以在 visionOS 上的同一场景中并排显示 2D 和 3D 内容。在这种情况下，我们可以使用 RealityKit 框架来呈现 3D 内容。...例如，RealityKit 为我们提供了 Model3D SwiftUI 视图，允许我们从 USDZ 或实际文件中显示 3D 模型。...} detail: { Model3D(named: "robot") } }}Model3D 视图的工作方式类似于 AsyncImage 视图，并异步加载模型...3D 内容时，你可以使用 windowStyle 修饰符来启用内容的体积显示。...体积样式允许你的内容在第三维中增长，以匹配模型的大小。对于更复杂的 3D 场景，我们可以使用 RealityView 并填充它以 3D 内容。

1.1K2 1

Web vs App（AR版）

AR在计算上很昂贵，那么它如何在浏览器中工作？WebAssembly是网络标准，允许浏览器执行汇编使用二进制文件代码。...看一下苹果和谷歌的努力，我们看到他们已经采取了一些措施，以实现3D模型与其各自的移动浏览器之间更深层次的集成。让我们从Apple的.usdz文件格式开始。...当Blippar启动AR数字展示位置（在网络浏览器中启动AR的横幅广告）时，我们看到了大量潜在客户。代理商，零售，娱乐，制药等机构都有巨大的需求，所有这些机构都希望与用户互动，而无需下载应用程序。...AR摄像头与传统摄像头的不同之处在于，它在OS级别而不是其顶部处理增强。当前基于Web的AR的实现要求在OS之上进行计算，从而导致计算滞后，限制渲染，有时甚至导致可见滞后。...为了加入这个世界大胆而勇敢的算命先生的行列，我将分享我的想法。当前，大多数AR内容（体验中的媒体）都托管在设备上或从云加载。

2.8K0 0

使用扩散模型增强3D高斯重建仿真质量指南

Fixer是一个基于扩散的模型，构建于某中心Cosmos Predict世界基础模型之上，旨在消除场景中欠约束区域的渲染伪影并恢复细节。...然后下载示例场景，该场景以包含3D环境的USDZ文件形式提供。...Fixer直接对图像而非USD或USDZ文件进行操作，因此使用视频帧提供了一组方便处理的输入图像。...通过FFmpeg从示例视频提取的帧目录被挂载到/input。脚本inference_pretrained_model.py从给定路径加载预训练的Fixer模型。--input是输入图像的文件夹。...此外，当引入新视角合成时，Fixer在纠正伪影方面也非常有效。视频3展示了将Fixer应用于从向左移动3米的新相机视角渲染的NuRec场景。

1851 0

为什么全球大厂都在押注OpenUSD？一文说透3D时代的“普通话”革命

当设计师用Maya建模、工程师用SolidWorks调参、AI团队用Blender生成资产时—— ▶ 为什么特斯拉工厂能实时同步10万级零件数据？...答案都藏在OpenUSD这个“隐形基础设施”中。本文用工业级案例拆解：一个文件格式如何成为英伟达、苹果、迪士尼共同选择的3D“世界语”。...在工业设计、影视制作、自动驾驶等领域的数字化转型浪潮中，一个核心矛盾日益凸显：当数据规模呈指数级增长，传统工作流正在被异构工具链、封闭格式和协作壁垒拖垮。...据Autodesk调研，设计师平均每周浪费15%时间处理文件兼容性问题；而英伟达的案例研究显示，汽车制造商使用不同CAD软件导致的返工成本高达项目预算的25%。...4.生成式AI适配困境 Diffusion模型生成的3D资产常因格式问题无法直接进入Unity/Unreal管线 OpenUSD通过分层合成架构破解这一困局： -基础层：定义几何体/光照/物理属性等核心数据规范

5330 0

到底有多强？苹果的增强现实框架：ARKit

ARKit [1504061643189_3471_1504061643487.png] AR(Argument Reality)大家都知道，就是将3D模型渲染在摄像头图像之上，混合渲染达到虚拟物品就好像是现实的一部分...ARKit最佳实践模型与骨骼动画如果是使用.dae 转 .scn 文件，资源中包含骨骼动画时，加载.scn文件到 scene 中会丢失动画，需要在加载时手动恢复一下（方法）。...最好不要将太远的光照加载模型文件中，这样会导致加载文件到SCNNdoe时，你的 node 真实尺寸特别大，而你期望的尺寸可能只是模型对象的大小。...为什么不产生阴影。答：ARKit通过图像的环境来设置模型的环境光强度，而环境光是不产生阴影的。（我猜苹果应该是通过像素值来确定环境光的，如果用高级一点的方法完全可以添加直射光。...建议由类似需求的同学好好梳理，是不是想要的是3D渲染而不是AR。） 6 . ARKit的最大应用范围是多少？答：100米是 ARKit 在保持较好用户体验的最大测量距离。

4.2K0 0

为什么库克一定要强调是AR，不是元宇宙？

库克在接受采访时说到。　　为什么库克要强调是AR，不是元宇宙，而扎克伯格却时刻把元宇宙挂在嘴边，概念争议到底是在争什么? 　　...与此同时，苹果也在2017年推出了AR核心技术的底层框架ARKit，并在之后面向开发者、艺术家、普通用户等不同群体分别针对性的推出了RealityKit、Reality Composer、Reality...而不同于硬件基因强大的苹果，自诩"元宇宙"公司的Facebook在具体技术上，主要着眼于VR——Oculus。　　2014年，Facebook以4亿美元收购Oculus直接点燃了VR赛道。...而不管从使用频率、用户基数等多方面来看，智能手机更略胜一筹。　　与此同时，智能手机也是当下体量最大的流量载体。　　...而此时，苹果需要思考的，就是找寻一个新的增长点。从目前来看，它所看重的或许就是AR。

3962 0

肘子的 Swift 周报 #062｜让 Swift 更强，也更简单

在这个框架中，模型继承是一个尤为重要的机制。...本文将深入探讨模型继承的核心概念，包括父实体（Parent Entity）、子实体（Sub Entity）和抽象实体（Abstract Entity）；我们将分析它们的优缺点，并探讨在不直接使用这些功能时如何实现类似的效果...在这篇帖子中，Quinn 探讨了在使用AsyncSequence时，如何在数据发送和接收端有效管理数据流，以避免因数据生产速度过快而引发的内存问题。...他通过一个 SwiftUI 示例，从模型加载到文本生成，完整演示了实现过程，为开发者快速上手提供了清晰的指导。...你将通过三个讲座学习如何开始使用 SwiftUI，探索一流的 App，并深入了解 RealityKit 和 Reality Composer Pro。

6051 0

腾讯混元3D AI创作升级：多视图、减面、开源，一次到位

比如，工业设计师为新款机床做3D演示模型时，通过智能减面可以快速、流畅地展示设备原型，还能轻松将模型发布到移动端，让客户用平板或手机随时查看。...新升级的混元3D AI创作引擎直接打通了市面主流格式，不仅OBJ、FBX、GLB轻松切换，还支持STL、USDZ乃至MP4等多种输出方式，无论是3D打印、移动端互动还是动画短片输出，都可以一键切换为合适的格式...举个栗子，过去3D打印往往只认特定格式（如STL），而很多创作者只有OBJ、FBX等通用格式。要打印一个小零件，可能要先导出 OBJ，再找转换器转成 STL，甚至手动修复兼容问题，光是格式就够折腾。...、稳定性高，后续模型功能的基石 Hunyuan3D-2 Turbo 需要快速生成高质量 3D 资产的场景：如游戏开发、动画制作、数字艺术创作显著加速，几何生成时间从 30 秒缩短至 2 秒内保持高精度...Hunyuan3D-2mv Turbo Hunyuan3D-2mini 资源受限或端侧部署场景：如移动端、笔记本、M1 Pro 芯片等更轻量：模型参数量从 1.1B 降至 0.6B Hunyuan3D

2.7K0 0

移动平台 Unity3D 应用性能优化（下）

坐标变换：就是对顶点的坐标进行某种变换—把顶点坐标从模型空间转换到齐次裁剪空间。顶点的多少直接决定了三角形面的多少，也直接决定了GPU的渲染流水线的工作量，所以减少顶点数是一个比较重要的优化点。...遮挡剔除是一个PRO版才有的功能，当一个物体被其他物体遮挡住而不在摄像机的可视范围内时不对其进行渲染。遮挡剔除在3D图形计算中并不是自动进行的。...unity中shader设置为“Geometry” 队列的对象总是从前往后绘制的，而其他固定队（如“Transparent”“Overla”等）的物体，则都是从后往前绘制的。...内置数组最好的一点是他们直接嵌入结构数据类型在一个紧密的缓存里，而不需要任何额外类型信息或其他开销。因此，在缓存中遍历它是非常容易的，因为每个元素都是对齐的。...Resources.Load就是从一个缺省打进程序包里的AssetBundle里加载资源，而一般AssetBundle文件需要你自己创建，运行时动态加载，可以指定路径和来源的。

2.7K1 0

WebGL 开发数据孪生项目

难点：直接加载所有资源会导致 GPU 内存溢出（OOM）、帧率骤降（如阴影的实时计算问题：数据孪生需还原真实环境的物理光照效果（如金属设备的镜面反射、室内漫反射照明），动态阴影（如设备移动时的投影变化）能增强场景真实感，但传统光照模型（如 Phong、Blinn-Phong...Shadow Maps, CSM）：针对大场景（如城市级孪生），将阴影分为近、中、远三层，分别用不同分辨率的阴影贴图，平衡清晰度与性能；烘焙光照（Light Baking）：对静态场景（如建筑结构）预计算光照贴图...难点：数据波动频繁时，频繁更新模型属性（如顶点位置、材质颜色）可能导致渲染卡顿。...点击时仅更新内容（如通过 AJAX 获取最新数据），而非重新创建 DOM 元素；WebWorker 辅助计算：将数据解析或复杂计算（如轨迹预测）放到 WebWorker 中，避免阻塞主线程的渲染循环。

3001 0

点击加载更多

SwiftUI-3D模型加载与显示

【visionOS】从零开始创建第一个visionOS程序

苹果的AR新工具RealityComposer开箱体验及操作指南

WWDC19苹果发布会，谁说程序员不能做设计？SwiftUI、AR 3 、ML 3

苹果推出突破性新技术，使开发人员更加轻松快捷地创建应用

AR技术相对成熟，接下来是内容的AR

NVIDIA Isaac Sim与Marble加速机器人仿真环境构建

一文看完 WWDC 2022 音视频相关的更新要点丨音视频工程示例

写给开发者的 Vision Pro 评测：易上手，但 UI 设计不够“革命”

如何使用 SwiftUI 构建 visionOS 应用

Web vs App（AR版）

使用扩散模型增强3D高斯重建仿真质量指南

为什么全球大厂都在押注OpenUSD？一文说透3D时代的“普通话”革命

到底有多强？苹果的增强现实框架：ARKit

为什么库克一定要强调是AR，不是元宇宙？

肘子的 Swift 周报 #062｜让 Swift 更强，也更简单

腾讯混元3D AI创作升级：多视图、减面、开源，一次到位

最新 iOS 框架整体梳理（三）

移动平台 Unity3D 应用性能优化（下）

WebGL 开发数据孪生项目

相关资讯

热门标签

活动推荐

运营活动

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐