Vision Pro 空间计算中的 3D 影像与建模

最近国外某团队发布了一条 AR 建模运用视频，演示了利用 iPhone 手机对广场上的雕塑进行快速扫描、建模，并重新利用手机 AR 投射到广场上。

这当然不是什么新鲜的技能，他们只是把苹果 WWDC2023 上发布的ObjectCapture样例项眼前载了下来，从视频上显示的 UI 界面来看，可能一行代码都没改过（我在视频评论中讯问了作者，结果很快评论被删除了‍♂️）。

实在早在 WWDC21 的时候苹果已经发布了Photogrammetry（拍照丈量法）接口，只不过受限于移动设备芯片算力，只能通过 iPhone 或 iPad 连续拍摄物体多角度图像，然后在 macOS 中实行建模的步骤：

Object Capture

在WWDC23-Meet Object Capture for iOS视频中， 展示了通过ObjectCapture和PhotogrammetrySession直接在 iPhone/iPad 上进行 3D 扫描建模的方法：

WWDC23 10191

最近官方文档上更新了示例代码，下载后可以通过 Xcode（15.0+）编译到你的设备上，当然这对设备参数有一定的哀求，至少须要 A14 仿生芯片和 LiDAR 传感器，并更新至 iOS/iPadOS 17 ：

实际运行后建模效果如下：

目前移动设备上支持最低面数和尺寸规格的建模，如须要更细致的模型仍须要在 macOS 上实行：

通过移动设备即可让用户完成对现实天下中的物体快速扫描、建模，是苹果为空间打算的内容生态提前做好的技能布局。

除了 3D 模型之外，Vision Pro 还供应了更加令人身临其境的 3D 影像功能：

3D Photo/Video

和 3D 模型比较，它更像是我们熟习的 3D 电影，只不过因此照片或短片的形式涌现。
出于 Apple Vision Pro 严格的用户隐私考虑，以及它目前并不适宜戴到室外场景的设计，iPhone 自然而然将成为最适宜进行 3D 影像创作的工具（乃至有谣言称 iPhone 15 将会有一款 Ultra 机型可以为Apple Vision Pro 拍摄 3D 影像，但是海内媒体信源引用著名的 MacRumors 网站，而 MacRumors 引用的是 Weibo user ）。

当然苹果已经提前准备好了跨设备内容共享技能，包括：Continuity Camera、 Handoff 、 AirDrop 等。
（不得不吐槽这个官方宣扬图片，估计可以把乔布斯气活过来）

Continuity Camera

值得解释的是，虽然 iPhone 险些必将成为 3D 影像和 3D 建模的创尴尬刁难象，但两者还是有些差异。
3D 影像利用的是人眼的双目立体视觉，大略理解为对（水平方向上）双眼所看内容差异的还原，例如 3D 电影拍摄时所用的双目相机（Apple Vision Pro 也是同样的事理）：

而 3D 建模则是利用激光雷达（LiDAR）实现对纵向深度信息的还原，两者之间虽然通过不同的办法实现对空间信息的还原，但无论是在终极运用处景还是对信息采集设备的哀求上都有所不同，因此并不能大略的将 ObjectCapture 看作是 Apple Vision Pro 所须要的 3D 视频技能。

参考：

3D成像方法 汇总（事理解析）— 双目视觉、激光三角、构造光、ToF、光场、全息Future ‘iPhone Ultra’ Model Could Capture Spatial Photos and Videos for Vision Pro Headset

作者：V2XR； 微信公众号：V2XR

本文由 @V2XR 原创发布于大家都是产品经理。
未经容许，禁止转载。

题图来自 Unsplash，基于 CC0 协议

该文不雅观点仅代表作者本人，大家都是产品经理平台仅供应信息存储空间做事。