iPhone 15 Pro“空间视频”+“3D结构光”技术浅析：为影像添加一个新维度

文 | 尹维、冯世杰、钱佳铭、李艺璇、左超，南京理工大学

苹果和华为的坚持——3D结构光

2023年8月29日，华为公司正式发售了搭载麒麟9000S的HUAWEI Mate 60系列手机。这款手机独特的“三开孔”前置中容纳了一颗3D深感摄像头，基于华为自主研发的高性能处理器麒麟9000S，可为用户带来更快捷、更安全的3D人脸支付体验。而苹果公司于9月发布的iPhone 15 Pro沿用了iPhone X的Face ID功能，其采用的第二代“灵动岛”设计中也内藏了一颗3D深感摄像头用于面容识别。此外，iPhone 15 Pro还推出了一项新功能——“空间视频”录制，为视频拍摄增添了一个新维度。不同于我们日常拍摄的普通视频，iPhone 15 Pro通过将主摄像头与超广角摄像头相结合，实现了空间视频的拍摄，该功能将与苹果公司于今年6月发布的虚拟显示设备Vision Pro相结合，可再现和重温具有立体维度的美好回忆，如图1所示。

图1 iPhone 15 Pro的“空间视频”效果图从iPhone 15 Pro宣传片中拍摄者的动作来看，用户使用iPhone 15 Pro进行空间视频拍摄时仅需在适中的距离采用固定机位即可完成。“空间视频”的拍摄是基于人类的双目立体视觉原理，更接近于传统3D电影的制作方式[1]，如图2所示。人和动物通过自己的双眼来感知三维的世界（动图3），由于人的双眼在水平方向上有一定间距，因此双眼看到的画面具有一定视差，当两只眼睛分别形成的物体被转化成神经信号传输到大脑以后，大脑就会对它们进行综合加工处理，主观上可产生被视物体的厚度以及空间的深度或距离等感觉。

图2  James Cameron拍摄Avatar 2时所用的双目相机[1]

图3 人和动物通过自己的双眼来感知三维的世界因此，为了实现“空间视频”的制作与再现，iPhone 15 Pro使用主摄像头与超广角摄像头模仿人眼采集具有一定水平视差的双目画面，结合Vision Pro设备上基于Micro-OLED的两块2,300万像素显示器和高效眼追踪系统（图4），将具备广色域和HDR的超高分辨率8K画质分别呈现给人的左眼和右眼，最终产生具有空间立体感的3D画面[2]。

图4 Vision Pro设备外观与内部设计图

“空间视频”中采用的双目立体视觉原理也是一种广泛使用的光学三维成像技术。典型的光学三维成像技术主要包括光度立体视觉、双(多)目立体视觉、飞行时间法、激光线扫法、散焦恢复形状法、结构光投影法等，而结构光投影又包括条纹投影与散斑投影法等（图5）。

图5 典型的光学三维成像技术那么，在双目立体视觉中，两只眼睛到底是如何获取三维信息呢？这就需要提到三角测距原理：通过同一物点在两个视角投影之间的三角关系即可确定物体的深度，如图6所示。

图6 双目立体视觉法示意图

人眼可以由大脑指挥实现自动对焦目标的功能，即使目标可能不那么容易分辨。例如一面白墙，如图7所示，人眼可以借助自己的先验知识或者借助精准控制的眼球转动推算出目标的大致距离。因为在看清不同距离的物体时，人的双眼之间的视角是不同的，对应到相机就是一个相机需要在另一个相机中匹配到同一物点才能判断其具体的位置。而相机却没有人眼那么“智能”，当拍摄一面白墙时，对于左视角中A点，右相机无法从其拍摄的图中去匹配同一个位置。而如果我们能够对目标物体添加“标识码”，即添加无规则的散斑图案，那么右相机就可以根据物体表面所特有的散斑特征判断A点所对应的点到底在哪里。

图7 散斑结构光为场景中的每一点打上了独一无二的“标签”散斑图案是结构光投影法中常用的投影图案之一。从本质上讲，结构光投影法是立体视觉法的一种改进形式，通过将立体视觉系统中一个摄像机替换成光源发生器（如投影仪）而实现。光源向被测物体投影按照一定规则和模式编码的图像（光栅条纹图案、线激光图案、随机散斑图案等），形成主动式三维形貌测量。编码图案受到物体表面形状的调制而产生形变，而带有形变的结构光被处于另一位置的相机拍摄到，通过相机与投影光源之间的位置关系和结构光形变的程度可以确定出物体的三维形貌。与立体视觉法相比，结构光投影法克服了由弱纹理区域引起的低匹配精度问题。在结构光投影法中，投影图案的编码模式可时间编码（多帧测量）和空间编码（单帧测量），如图8所示。

图8 几种常见的结构光图案。(a) 正弦条纹图案；(b) De Bruijn图案；(c) M-array图案；(d) 散斑图案。

时间编码将一系列特定编码的图案连续投影到物体表面，常见图案包括格雷码图案、时间n元码和正弦条纹图案。其中，基于正弦条纹图案投影的三维测量方法（条纹投影轮廓术）通过计算形变条纹图像的相位信息实现了高精度三维测量，广泛应用于工业检测与医学整形等领域，如图9所示。

图9 结构光投影法原理（以条纹投影轮廓术为例）不同于时间编码，空间编码的关键设计思想是如何保证局部图案相对于整个投影图案是全局唯一的。空间编码方法根据不同的空间编码策略可以分为三大类：非正规编码、De Bruijn序列编码和M-arrays编码。其中，M-arrays编码是一种二维编码方法，使用一系列小尺寸码字随机填充整个投影图案以形成伪随机图案，具有理论上最佳的全局唯一性。这种伪随机图案一般也称为随机散斑图案，基于伪随机图案投影的三维测量方法也被称为散斑投影轮廓术。散斑图案的全局唯一性使得散斑投影轮廓术具有单帧三维重建优势，其在消费电子领域备受青睐，如微软公司的3D体感套件——Kinect、iPhone X的Face ID人脸识别功能和OPPO Find X的FaceKey人脸支付功能（图10）。基于散斑投影轮廓术的Kinect使用基于VCSEL的小型化散斑投影模组将数万个肉眼不可见的近红外光斑投影到被测场景，红外摄像头同步采集形变散斑图像，利用立体匹配技术得到视差图以实现三维成像，具有小型化、低成本、高测量效率的优势。

图10 不同的三维光学传感设备。(a) Kinect；(b) iPhone X的Face ID人脸识别功能；(c) OPPO Find X的FaceKey人脸支付功能。总而言之，基于结构光投影法的三维测量技术在测量精度和测量效率上具有潜在优势，尤其是条纹投影轮廓术和散斑投影轮廓术。下面我们来看看结构光三维成像技术的技术优势、典型应用和发展趋势。

结构光三维成像技术的技术优势及应用

结构光三维成像是一种主流的非接触式主动三维形貌测量技术，具有硬件配置简单、测量精度高、三维点云稠密等优势，广泛应用在工业检测、工业设计、生物识别、文物保护、生物医疗、虚拟现实等方面，如图11所示。

图11 结构光三维成像在工业检测、人脸识别、文物保护、生物识别等方面的应用非接触：对于很多特殊的物体，如考古标本、博物馆藏品、私人收藏的高价值物品或者表面柔软的物体，接触式测量（如三坐标机）通常并不适用。而结构光技术使得测量这些物体成为可能，整个扫描过程不需要与检测对象进行任何物理接触。此外，在法医学和考古学领域，通常需要采用原位测量技术来测量物体，以保留其完整性以及周围的场景。速度快：结构光三维成像可实现全视场、快速三维成像。对于很多复杂的三维场景，传统的摄影测量方法、三坐标机或手动测量可能需要一整天的时间，而使用结构光三维扫描仪通常只需一两个小时即可完成。精度高：与游标卡尺、三坐标机等广泛使用的测量方法不同，结构光技术增强了复杂形面的三维测量能力。不仅仅是离散点和表面的线性延伸，结构光三维成像可用于不规则表面的测量，精度可达到微米级。对人体安全：结构光三维成像技术已在医疗保健领域得到了广泛的应用。与激光扫描仪（损失视力的风险）和CT扫描仪（辐射风险）不同，结构光技术通常采用的光源是白光或者红外光，而这对人体是安全无害的。

结构光三维成像技术的发展

01

结构光编码的理论研究

在结构光三维成像技术中，基于正弦条纹图案投影的三维测量方法（条纹投影轮廓术）通过计算形变条纹图像的相位信息实现了高精度三维测量，广泛应用于工业检测与医学整形等领域。为了实现无歧义的三维面型重建，通常需要将包裹相位展开为绝对相位。然而，传统的格雷码/时间相位展开法需要投影额外的多组格雷码/条纹图像，多帧成像的特性导致难以实现对动态场景的三维测量[3]。

为了减少重建所需的图像数量进而提高三维成像的效率，双频法[4]、2+2步相移法[5]、三角波复合相移法[6]、散斑复合傅里叶法[7]、微频移傅里叶变换法[8]等系列复合编码方法被提出，如图12所示，为实现实时、高速、高精度三维面型测量提供了数据基础。

图12 基于复合编码的条纹投影轮廓术方法。(a) 2+2步相移法；(b) 三角波复合相移法；(c) 散斑复合傅里叶法；(d) 微频移傅里叶变换法。1983年，傅里叶变换条纹投影轮廓术被提出，仅通过一幅高频条纹图像实现相位解调，使得单帧三维成像成为可能。针对此技术，研究人员展开深入系统的研究，实现了测量速度达kHz级别的单帧三维成像，先后提出了高速三维成像方法、基于频分复用的单帧三维成像方法、基于三通道彩色条纹复用的单帧三维成像方法，如图13所示。

图13 基于傅里叶变换法的单帧结构光三维成像方法。(a) 傅里叶变换法的基本原理；(b) Su等[9]提出的高速三维成像方法对鼓面与微飞行器翅膀的三维成像结果；(c) Takeda等[10]提出的基于频分复用的单帧三维成像方法；(d) Zhang等[11]提出的基于三通道彩色条纹复用的单帧三维成像方法。

02

高速实时三维成像

近年来，面向运动场景的高速实时三维成像受到了越来越广泛的关注。相比于过去面向静态场景的测量，处理运动场景的三维成像技术对成像效率有着更为严格的要求。

为了提升三维测量效率，多种成像系统和技术被提出，如基于傅里叶变换轮廓术(FTP)的振动鼓膜表面快速测量[12]、基于2+1相移法实现的三维人脸成像[13]、基于双频复合相移法的三维成像系统[14]、基于2+2相移变换轮廓术与FPGA技术的120 Hz实时光栅投影三维成像系统[5]、基于立体相位展开(Stereo phase unwrapping, SPU)技术的四目实时三维成像系统[16]、将相移条纹图与格雷码图案相结合的结构光三维重建方法[17]、10000 Hz的瞬态三维传感技术[18]、5D高光谱三维成像技术[19]和热条纹投影三维成像技术[20]等，实现了更高精度的实时三维测量，包括人脸识别、气枪子弹出膛/气球爆炸的瞬态三维成像以及透明/半透明物体的快速三维成像等。

图14 快速实时三维轮廓测量系统。(a) 鼓膜振动测量；(b) 基于2+1相移法实现的三维人脸成像；(c) 基于双频复合相移法的三维成像系统；(d) 120 Hz实时光栅投影三维成像系统；(e) 45 Hz四目实时高精度三维成像系统；(f) 积木坍塌等复杂、高噪声动态场景的三维形貌测量；(g) 子弹出膛的10000 Hz瞬态三维成像；(h)安全气囊弹出的瞬态三维成像。

03

与人工智能相结合

2022年底，ChatGPT大语言模型的横空出世在全球互联网上制造了一场人工智能的风暴。目前，人工智能技术也在光学成像、计算成像、全息显微等领域逐步渗透，且展现出巨大的潜力。对基于结构光投影的三维成像而言，人工智能技术已成功应用于结构光条纹图像的包裹相位求解[21]、空域/时域包裹相位展开、条纹去噪、超快三维测量等方面（图15）。这些应用向我们展现了，在人工智能的辅助下条纹投影技术在效率、精度等方面取得的新突破[22]。

图15 基于深度学习的条纹结构光图像分析，可有效提升单帧条纹图像相位测量精度

04

消费电子与工业场景应用

结构光投影法，特别是条纹投影轮廓术(FPP)，是一种主流的高精度、非接触式三维成像技术，广泛用于智能制造、基础研究和工程应用。然而，基于条纹投影轮廓术的三维测量设备受限于高成本、低光功率和结构复杂的高分辨率空间光调制器件(DMD)，为小型化、低成本、远距离三维成像应用带来了巨大挑战。

另一方面，受益于先进的制造工艺，散斑投影轮廓术(SPP)采用基于垂直腔面发射激光器(VCSEL)的高集成化散斑投影器件，通过投影单帧散斑图案实现了快速三维重建，为三维场景重建和三维人脸识别等小型化移动深度传感应用开辟了新的途径[23]，如图16 (a)所示。VCSEL已成为工业界常用的散斑投影器件核心光源，极大简化了散斑投影轮廓术的系统结构，具有小型化、高光功率、探测距离远等优点。然而，由于单帧散斑匹配精度低和被测表面的复杂反射特性，基于单帧散斑投影的三维传感设备在精度和分辨率方面的性能较差，因此iPhone X所拍摄到的3D人脸并不是我们想象的那般“3D”，而只是一个充满阶梯状的低分辨率的人脸轮廓而已，如图16 (b)所示。

图16 面向消费电子的散斑投影轮廓术应用。(a) 基于VCSEL的小型化单帧散斑投影三维传感器及人脸面具的测量结果；(b) 理想中的高精度三维人脸数据与iPhone X所能获取到的三维人脸数据。为了提升散斑投影轮廓术的测量精度以满足复杂工业场景的精密测量需求，基于VCSEL的三帧散斑投影三维传感器[24]被提出，利用一种由粗到精的时空散斑相关算法以提升测量精度、重建复杂物体的精细轮廓，实现了小目标金属零件的远距离三维测量，有望在零件分拣、机器人码垛等方面得以广泛应用，如图17 (a)所示。进一步，基于VCSEL的时空散斑投影三维传感器能够实现大尺寸汽车车门的高分辨率、高精度逆向三维建模，展示了其在工业检测、工件装配等领域的潜在应用，如图17 (b)所示。

图17 面向工业场景的散斑投影轮廓术应用。(a) 基于VCSEL的三帧散斑投影三维传感器及小尺寸金属零件的测量结果；(b) 基于VCSEL的时空散斑投影三维传感器及大尺寸汽车车门的测量结果

小 结

从2010年微软公司发布全球第一款3D体感套件——Kinect，到2017年iPhone X的Face ID人脸识别功能，再到今年iPhone 15 Pro的“空间视频”录制功能，随着3D人脸识别、AR/VR、机器人码垛、3D缺陷检测等应用场景不断深入到人们的日常生活和工作中，消费电子与工业场景应用对三维数据获取与显示的需求必将促进结构光三维成像技术的蓬勃式发展。它们有望真正成为机器甚至智能手机的眼睛，使它们能够更准确地感知周围场景的真实几何形貌，并为后续的三维建模、检测与识别等方面提供重要的数据基础，广泛应用于工业在线检测、3D打印、虚拟现实、汽车无人驾驶、智能家居与安防等众多领域。

参考文献

[1] https://hackvision.pro/post/apple-vision-pro-spatial-computing-tech-stacks

[2] https://baijiahao.baidu.com/s?id=1776970942686256760&wfr=spider&for=pc

[3] Zuo, C., Huang, L., Zhang, M., Chen, Q. & Asundi, A. Temporal phase unwrapping algorithms for fringe projection profilometry: A comparative review. Opt. Lasers Eng. 85, 84–103 (2016).

[4] Zuo, C. et al. High-speed three-dimensional shape measurement for dynamic scenes using bi-frequency tripolar pulse-width-modulation fringe projection. Opt. Lasers Eng. 51, 953–960 (2013).

[5] Zuo, C., Chen, Q., Gu, G., Feng, S. & Feng, F. High-speed three-dimensional profilometry for multiple objects with complex shapes. Opt. Express 20, 19493–19510 (2012).

[6] Tao, T. et al. Real-time 3-D shape measurement with composite phase-shifting fringes and multi-view system. Opt. Express 24, 20253 (2016).

[7] Feng, S., Chen, Q. & Zuo, C. Graphics processing unit–assisted real-time three-dimensional measurement using speckle-embedded fringe. Appl. Opt. 54, 6865–6873 (2015).

[8] Zuo, C. et al. Micro Fourier Transform Profilometry ( μFTP): 3D shape measurement at 10,000 frames per second. Opt. Lasers Eng. 102, 70–91 (2018).

[9] Su, X. & Zhang, Q. Dynamic 3-D shape measurement method: a review. Opt. Lasers Eng. 48, 191–204 (2010).

[10] Takeda, M., Gu, Q., Kinoshita, M., Takai, H. & Takahashi, Y. Frequency-multiplex Fourier-transform profilometry: a single-shot three-dimensional shape measurement of objects with large height discontinuities and/or surface isolations. Appl. Opt. 36, 5347 (1997).

[11] Zhang, Z. H. Review of single-shot 3D shape measurement by phase calculation-based fringe projection techniques. Opt. Lasers Eng. 50, 1097–1106 (2012).

[12] Zhang, Q. & Su, X. High-speed optical measurement for the drumhead vibration. Opt. Express 13, 3110 (2005).

[13] Zhang, S. & Yau, S.-T. High-speed three-dimensional shape measurement system using a modified two-plus-one phase-shifting algorithm.Optical Engineering 46, 113603 (2007).

[14] Liu, K., Wang, Y., Lau, D. L., Hao, Q. & Hassebrook, L. G. Dual-frequency pattern scheme for high-speed 3-D shape measurement. Opt. Express 18, 5229–5244 (2010).

[15] Tao, T. et al. High-precision real-time 3D shape measurement based on a quad-camera system. J. Opt. 20, 014009 (2018).

[16] Qian, J., Tao, T., Feng, S., Chen, Q. & Zuo, C. Motion-artifact-free dynamic 3D shape measurement with hybrid Fourier-transform phase-shifting profilometry. Opt. Express 27, 2713 (2019).

[17] Wu, Z., Guo, W., Li, Y., Liu, Y. & Zhang, Q. High-speed and high-efficiency three-dimensional shape measurement based on Gray-coded light. Photon. Res. 8, 819 (2020).

[18] Zuo, C. et al. Micro Fourier transform profilometry (μFTP): 3D shape measurement at 10,000 frames per second. Opt. Lasers Eng. 102, 70–91 (2018).

[19] Heist, S. et al. High-speed three-dimensional shape measurement using GOBO projection. Opt. Lasers Eng. 87, 90–96 (2016).

[20] Landmann, M. et al. High-resolution sequential thermal fringe projection technique for fast and accurate 3D shape measurement of transparent objects. Appl. Opt. 60, 2362 (2021).

[21] Feng, S., Chen, Q., Gu, G., Tao, T., Zhang, L., Hu, Y., Yin, W. and Zuo, C. Fringe pattern analysis using deep learning. Adv. Photonics, 1(2), 025001-025001 (2019).

[22] Zuo, C., Qian, J., Feng, S., Yin, W., Li, Y., Fan, P., Han, J., Qian, K. and Chen, Q. Deep learning in optical metrology: a review. Light: Sci. & Appl., 11(1), 39 (2022).

[23] Yin, W. et al. Real-time and accurate monocular 3D sensor using the reference plane calibration and an optimized SGM based on opencl acceleration. Opt. Lasers Eng. 165, 107536 (2023).

[24]Yin, W. et al. Speckle structured-light-based 3D imaging technology and its sensor design using VCSEL projection array. Laser & Opto. Progress, 60(08), 0811005 (2023).

上下滑动查看更多

团队介绍

南京理工大学智能计算成像实验室（www.scilaboratory.com）南京理工大学智能计算成像实验室（SCILab: www.scilaboratory.com）隶属于南京理工大学光学工程国家一级重点学科带头人陈钱教授领衔的“光谱成像与信息处理”教育部长江学者创新团队、首批“全国高校黄大年式教师团队”。实验室学术带头人左超教授为国家“优青”、国际光学工程学会会士（SPIE Fellow）、美国光学学会会士（Optica Fellow），入选科睿唯安全球高被引科学家。实验室致力于研发新一代计算成像与传感技术，在国家重大需求牵引及重点项目支持下开展新型光学成像的机理探索、工程实践以及先进仪器的研制工作，并开拓其在光学显微、光学计量、生命科学、生物医药、智能制造、遥感监测以及军事国防领域的前沿应用。研究成果已在SCI源刊上发表论文200余篇，其中36篇论文被选作Advanced Photonics、Photonics Research、激光与光电子学进展等期刊封面论文，20篇论文入选ESI高被引/热点论文，Google Scholar引用超过12000次。获中国光学工程学会技术发明一等奖、江苏省科学技术奖基础类一等奖、日内瓦国际发明展“特别嘉许金奖”等奖项。实验室研究生5人次获全国光学工程优秀博士论文/提名，4人次获得中国光学学会王大珩光学奖，5人次入围Light全国光学博士生学术竞赛全国百强，获全国“挑战杯”、“互联网+”、“创青春”、“研电赛”特等奖/金奖十余次。

未来，光学三维成像技术将得到更为广泛的发展与应用，并为人类生活带来新机遇。左超团队的多篇文章收录在《激光与光电子学进展》和《红外与激光工程》推出的“三维成像技术及应用”和“光学三维成像与传感”专题刊，专题中的论文涵盖了结构光三维成像、干涉测量技术、相位测量偏折术、光学相干层析成像、三维层析显微成像、数字全息显微成像、增强现实显示、三维立体显示技术(全息显示、集成光场显示等)、三维成像传感技术与计算成像相关交叉领域(如三维鬼成像)等多个方向的研究成果和最新进展。

征稿启事Contributions本公众号长期征稿欢迎大家踊跃来稿为了尽可能协助科研人员和企业扩大自我宣传，本微信号接受科研和产业界人士投稿，技术类、市场类、企业类、产品类等皆可。经筛选后，根据稿件质量可发布于本微信公众号头条及次条位置宣传。若被采用为头条的技术类、市场分析类稿件，视阅读量可给予稿费。投稿通道：邮件标题统一命名为“投稿+文章标题”的格式文章用word附件或者文章链接，发送至邮箱sueuel@oeshow.net；或者电话/微信联系13296607101，备注“投稿”即可。END

特色栏目

免责

声明

本文注明来源为其他媒体或网站的文/图等稿件均为转载，如涉及版权等问题，请作者在20个工作日之内联系我们，我们将协调给予处理。最终解释权归光电汇所有。本文版权所有，公众号如需转载请联系oepn@siom.ac.cn

商务合作，请联系

季先生 18018304797觉得有用，请点这里↓↓↓