苹果携手推出革命性AI模型Matrix3D,简化3D重建过程
故渊| IT之家 | 2025-05-14
【流媒体网】摘要:3 张照片 → 全景 3D。

  科技媒体 9to5Mac 5 月 13 日发布博文,报道称苹果机器学习团队携手南京大学和香港科技大学,推出名为 Matrix3D 的 3D AI 模型,专注于从少数 2D 照片中重建真实世界的物体和场景。

  用户只需提供几张图像,模型就能自动生成高质量的 3D 输出。这不仅简化了操作,还为应用领域打开了新机遇,进一步推动了 AI 领域的协作。

  摄影测量技术利用照片进行测量,从而创建 3D 模型或地图。目前的流程依赖姿态估计和深度预测等多个独立模型来处理具体步骤,而这种分段方法容易导致低效和错误。

  Matrix3D 则革新了这一体系。它一次性整合图像、相机参数(如角度和焦距)以及深度数据等所有过程,通过统一架构处理这些元素,减少了中间环节,让重建过程更流畅、更可靠。研究者指出,这种整合设计显著降低了人为错误的风险,并提高了整体性能。

  在训练策略方面,研究者采用了掩码学习方法,类似于早期 Transformer 基础 AI 系统。这种技术借鉴了 ChatGPT 早期版本的训练理念,在训练过程中随机隐藏部分输入数据,迫使模型学会“填充空白”。这强化了模型的适应性。即使数据集较小或不完整,Matrix3D 也能有效学习关键特征。

  测试结果证明了 Matrix3D 的强大表现。用户只需三张输入图像,该模型就能生成详细的 3D 重建,包括物体和整个环境,为沉浸式技术带来了实际应用潜力。IT之家附上演示视频如下:

  例如,在 Apple Vision Pro 等头显设备中,Matrix3D 可以创建逼真的虚拟场景,提升用户体验。研究者表示,这种能力将加速元宇宙和增强现实的发展。


  由流媒体网主办的「中原论道暨第29届智能视听与科技创新产业论坛」将以“新局新视 智合聚变”为主题,再度携手产业各方,共启视听新局,共创智屏新篇。

  5月22-23日,河南开封·大河希尔顿逸林酒店,「中原论道」邀您共聚。

 

责任编辑:李楠

分享到:
版权声明:凡注明来源“流媒体网”的文章,版权均属流媒体网所有,转载需注明出处。非本站出处的文章为转载,观点供业内参考,不代表本站观点。文中图片均来源于网络收集整理,仅供学习交流,版权归原作者所有。如涉及侵权,请及时联系我们删除!