今天,苹果宣布推出一项新的iPhone功能。据悉,该功能还将与其在今年早些时候发布的XR头显Apple Vision Pro相结合:借助新发布的iPhone 15 Pro,用户将能够捕捉并获得“空间视频”。该公司表示,这些视频将让用户在Vision Pro上以一种新的方式“重温过去的记忆。”此外,用户还可以与任何拥有Vision Pro的人分享这些让人产生身临其境感觉的空间视频。
当苹果推出Vision Pro时,“空间计算”的概念就深入人心,本次推出的iPhone 15 Pro还采用了新的纳米级涂层来减少镜头眩光,以及一些计算摄影技术,可实现一系列新的肖像模式来拍摄3D“空间视频”,然后用户可以将其转化在Vision Pro上,进而获得更加具有深度感知的视频和图像。
对用户来说,苹果的这项技术可以让人更轻松地使用随身携带的手机,而不是额外使用某些单独的设备来拍摄视频,这样就不会错过特殊时刻的记录。当然据官方介绍,低配版的iPhone 15和iPhone 15 plus似乎并不具备该项功能。在苹果提供的示例中,体验者使用iPhone 15 Pro记录了一个家庭的海滩度假,从现有画面来看,真实和细腻的画面所呈现出的空间视频,仿佛确实让体验者“回到了那个时刻。”
从技术角度分析,在新推出的iPhone 15 Pro中,用户似乎可以体验到超广角摄像头和主摄像头的双重配合。这种看似类似传统3D电影的拍摄方式,主要是通过两个一定间距的镜头进行画面捕捉,通过利用镜头间的画面视差,并分别呈现给人的左眼和右眼,最终产生3D的画面。
不过苹果的3D拍摄功能可能会与现有的双目技术不同,它可能使用多个摄像头和传感器来捕捉3D信息。虽然这项技术的具体细节尚未公布,但根据此前的报道来看,Vision Pro头显具有12个摄像头和5个传感器,包括1LiDAR、2结构光深度传感和2*IR红外传感,这些传感器用于处理空间环境感知、手势识别、三维建模和眼动追踪等功能,因此引入LiDAR深度传感器的数据,对iPhone拍摄的原画面进行重投影和修正,进而生成符合双眼舒适视差的画面可能更为符合苹果的实际情况。
如果苹果的3D拍摄功能主要通过多摄像头和传感器来实现,那么就意味着这些设备可以捕捉到物体的多个角度和深度信息,并将其合成为三维模型。同样的这种技术也可以应用于手机、平板电脑、笔记本电脑等设备,并支持在AR应用程序中使用。
事实上,利用脉冲激光测量目标距离的LiDAR技术,早已广泛应用于测绘学、考古学、地理学等学科领域。但作为少数载移动设备上加载LiDAR技术的厂商,苹果在2020年推出的iPad Pro、iPhone 12 Pro等产品上就将这项技术成功应用于消费电子市场。尽管如此,对于非专业用户来说,LiDAR技术的价值和功能并不像摄像头像素提升所带来的图像清晰度提高那样直观,也不像广角镜头所带来的视野扩展那样显而易见。不过本次苹果推出的空间拍摄也许将彻底改变这一局面。
iPhone在LiDAR技术的加成下,可以辅助摄像头元件获取对象和空间的测量值,检测人或物体的位置和距离,继而结合场景几何体生成的三维网格数据,通过启用虚拟对象的即时放置并将与物理环境无缝混合,令虚拟对象更为逼真。不过也有专业人士表示,本次苹果发布的Vision Pro演示内容,看似是带景深的3D视频,但其实际上不需要3D重建技术,它也不是3D模型,而是一种是一种立体显示技术,其优势是可以让用户看到具有物理景深的三维图像,获得更好的体验感。
毕竟除了空间定位之外,LiDAR还可以辅助3D建模。虽然LiDAR对于特别是小的静态物体的重建精度不够,但其用于空间定位时可以实现精准的效果,因此可以使用LiDAR获取深度信息,结合RGB摄像头捕捉高精图片,双方进行结合融汇,完成高精度3D重现的视觉效果。
但使用LiDAR配合进行空间检测同样有利有弊,这种对算力要求超高的过程会增加设备的运行负担,因此,有专业人士推测,苹果的3D体三维视频在录制时可能会出现算力不足的问题,从而影响画质和帧率。
不过目前具体的使用体验和画质效果尚不得知,但似乎可以肯定的是,苹果的3D拍摄功能可能是一种新的3D捕捉技术,能够完整地记录对象的三维信息。而通过苹果Vision Pro头显可以观看空间视频,呈现出空间感,并且可以录制空间视频或照片,也表明苹果的3D拍摄功能可能与此有关。未来也许这项技术可以应用于iPhone或更多的苹果设备,以拍摄和呈现3D内容。
虽然苹果并没有公布空间视频录制过程及如何工作,或Vision Pro上的观看和共享体验的详细技术细节,而是将其视为未来产品体验计划的重要部分。
但不可否认的是,本次苹果提出的空间拍摄概念,将原有的3D拍摄技术推向了更高层次。这种能够在真实空间中对这些信息进行处理和呈现的技术,显然需要更加复杂的技术和算法,例如空间点云技术、三维重建技术、可视化技术等。
从某种意义上说,苹果的3D拍摄功能在一定程度上已经实现,但是要在全行业中真正实现还为时尚早。如果能够实现空间拍摄,AR应用程序中的物体将会更加真实、准确,这将有助于推动AR技术的发展,并带来更多创新的应用场景。同时三维模型也将在诸多领域大放异彩,例如通过三维模型来辅助医生进行手术计划和手术导航,或者是工业设计和制造过程。总之,空间拍摄这一概念代表着重要应用前景,但是要真正实现空间拍摄,还需要更多的技术突破和实验验证。
关注行业资讯 尽在新浪VR
vr.sina.com.cn
商务合作(电话/微信)
吴经理:186 0036 5673
李经理:137 1660 0493
罗经理:136 2133 0636
蒋经理:177 0108 1020
孙经理:139 1065 6994
-----------------------------
【往日要闻】
-------------------------------
【我们的关键词】
Our Keywords
#产品解读#
“雪麒麟”音乐头显亮相法国,引发海外媒体的热烈关注 | 三款热卖智能眼镜横评,看完就知道哪款适合你! | Steam Deck真的适合VR吗?| 2022年的Cardboard,VR产业的时代弃儿 | 2022年VR旗舰畅想:PSVR2、Meta Cambria、Pico Neo4 | 苹果AR眼镜真的要来了!已获得触觉手套专利| 专业级的立体Vlog神器来了:佳能EOS VR系统评测 | 新浪VR独家预测:对苹果AR眼镜的四个预言|Oculus Quest2拆解:这就是进入元宇宙的大门?
特别提示:新浪VR公众号拥有近10万名粉丝,我们对产品的细节始终保持公正评价、认真解读、选优推荐。
#行业刨析#
“打卡返利”惹争议,中国头显厂商做错了吗? | 财报露马脚!元宇宙上市企业含金量参差不齐 | 字节刚刚入局的新赛道,或蕴含下一个千亿级市场 | VR/AR未来将如何改变传统零售业? | 元力觉醒·2022年元宇宙行业峰会大幕拉起! | AR直播的崛起还有多远? | 任天堂总裁:VR还不够成熟,我不看好Meta和元宇宙 | VR电竞已获奥委会认可,它的未来或将超乎人们想象 | XR技术不仅能创造出元宇宙,还能改变健康产业 | B.V将在大秀上推出AR应用,古驰和拉夫劳伦甚至打造了虚拟商店 | 在VR/AR技术助力下,教育领域的质变将超出你的认知!
特别提示:作为XR领域的门户媒体,我们始终坚持客观评价,立场鲜明。同时,我们也欢迎业内各界朋友的踊跃投稿。
#厂商动向#
关于字节跳动更名的猜想:资本求财,自己求生 | 新时代前夜?歌尔智能硬件营收同比增长125% | 字节刚刚入局的新赛道,或蕴含下一个千亿级市场 | 顶级风投a16z如何布局Web3.0?出钱出人出资源! | 高通与Square Enix强强联手,前者真的会成为“元宇宙钥匙”吗? | 讴歌被传退出中国市场,如今却积极布局“元宇宙”? | 在万众瞩目下,Horizon Worlds未来能否站稳脚跟? | 以AR赋能智慧工业,雷鸟创新布局B端市场 | 麦当劳也来掺和, 要做“元宇宙”的金拱门? | 专访央视AR团队:当XR技术走进冬奥会
特别提示:新浪VR将始终坚持公正报道、理智客观,对于业内厂商的所有动态,我们都倍加关注。
--------------------------------
新浪VR,早一天看到未来!
我知道你在看哟