AI赋能超高速结构光三维成像

南京理工大学陈钱、左超教授团队，联合波兰华沙理工大学Malgorzata Kujawinska和Maciej Trusiak教授，共同提出了一种融合频分多路复用与深度神经网络的新型三维成像方法——基于双频角度复用的条纹投影轮廓术，可突破硬件物理极限，实现超越相机帧率一个数量级以上的时间超分辨三维成像。

自胶片摄影时代以来，捕捉和记录高速动态过程便是光学成像领域的重要课题。随着电荷耦合器件（CCD）和互补金属氧化物半导体（CMOS）等固态成像技术的快速发展，高速成像受到了越来越多的关注。高时间分辨率的成像手段能够“冻结”快速运动，精确捕捉物体的瞬态变化，在航空航天、工业制造等领域展现出了巨大潜力。

近年来，随着光电信息技术的快速发展，三维成像与传感已成为光学计量和信息光学领域中最重要的研究方向之一。其中，基于相位测量的条纹投影轮廓术（FPP）因其非接触、编码灵活、测量精度高等优点，已成为当前应用最广泛的三维面形测量技术之一。然而，传统FPP等结构光三维成像技术中，图案投影与图像采集始终遵循“一对一”的同步机制，导致系统的时间分辨率从根本上受制于探测器自身的帧率。当前，提升成像速度主要依赖高刷新率的硬件设备，但这不仅显著增加了系统复杂度，也大幅提高了整体成本，成为制约高速乃至超高速三维成像技术进一步发展的关键瓶颈。

为了突破这一瓶颈，频分多路复用——一种通信领域的经典信息复用技术——提供了可行的解决方案。早在1997年，Takeda教授便将其引入条纹投影轮廓术，通过将两种不同频率的条纹编码叠加于单幅图像中，实现了相位解调与展开信息的同步获取。类似地，在离轴数字全息领域，研究人员将多个时刻、不同方向的全息图叠加，仅依靠传感器一次曝光的复用图像，便可实现不同时刻的全息重建。然而，频分复用技术所引入的复杂频谱结构也带来了挑战：傅里叶域中的滤波与反蜒淌题变得高度病态，算法恢复严重受到频谱混叠、频谱泄漏、通道串扰等因素影响，使得重建精度、分辨率与可靠性等方面都远达不到实际应用的要求。

在深度学习与计算成像技术迅猛发展的背景下，南京理工大学陈钱、左超教授团队，联合波兰华沙理工大学Malgorzata Kujawinska和Maciej Trusiak教授，共同提出了一种融合频分多路复用与深度神经网络的新型三维成像方法——基于双频角度复用的条纹投影轮廓术（DFAMFPP），可突破硬件物理极限，实现超越相机帧率一个数量级以上的时间超分辨三维成像。该方法利用数字微镜器件（DMD）高时间分辨能力与频分多路复用技术优势，在相机单次曝光周期内高速投射多组双频条纹图案，将多个时序的三维信息编码至单帧按用图像中。随后，结合数论与集成深度神经网络，从单帧按用图像中精确解耦出多帧绝对三维信息。利用该技术，研究人员实现了超越传感器帧率16倍的高速、高精度时间超分辨三维成像。

图1 DFAMFPP原理示意图：在一次长曝光中叠加多组双频条纹，借助深度神经网络从复用频谱中解耦重建多个时间点的三维形貌

图2重建流程图：包括去零频预处理、相位分解网络与数论相位展开网络三个步骤

在实验中，研究人员对一台高速旋转的涡扇发动机原型进行了动态测量。在仅使用625 Hz的普通工业相机条件下，实现了10000 Hz的超高速三维成像，精确还原了每分钟约9600转的涡扇叶片三维结构。尽管叶片在原始图像中几乎无法辨识，但该技术依然能通过复用图像中隐含的高频信息，成功解译出高速旋转叶片的精细三维形貌。

视频1涡扇发动机模型的动态三维测量效果展示

通过融合深度学习与计算成像技术，DFAMFPP利用频域复用技术，从单帧按用图像重建物体多帧三维形貌，在不损失空间分辨率的前提下，实现了超越传感器帧率一个数量级以上的时间超分辨三维成像。该技术突破了探测器帧率对三维成像速度的固有限制，为基于低时间分辨成像器件探索高时空分辨率的动态过程提供了新的可能性。未来，该技术结合分幅摄影、压缩超快成像等技术有望实现每秒百万帧以上的超高速三维成像，为冲击爆轰、激光等离子体相互作用等极端超快物理过程的三维观测提供有效的影像学工具。

该工作以“Dual-frequency angular-multiplexed fringe projection profilometry with deep learning: breaking hardware limits for ultra-high-speed 3D imaging”为题作为封底文章发表在 Opto-Electronic Advances 2025年第9期。

目前，该工作已先后获美国科学促进会（AAAS）旗下科研新闻平台EurekAlert!、国际新闻发布平台EIN Presswire、以及生物医学工程领域资讯平台Bioengineer.org等海外媒体亮点报道，同时也被央广网、中国新闻网、交汇点新闻等国内权威媒体重点推介，累计阅读量已突破100万次。

研究团队简介

南京理工大学智能计算成像实验室（SCILab：www.scilaboratory.com）隶属于南京理工大学光学工程国家一级重点学科带头人陈钱教授领衔的“光谱成像与信息处理”教育部长江学者创新团队、首批“全国高校黄大年式教师团队”。实验室学术带头人左超教授为教育部长江学者特聘教授、国际光学工程学会会士（SPIE Fellow）、美国光学学会会士（Optica Fellow）、英国物理学会会士(IOP Fellow)，入选科睿唯安全球高被引科学家。实验室致力于研发新一代计算成像与传感技术，在国家重大需求牵引及重点项目支持下开展新型光学成像的机理探索、工程实践以及先进仪器的研制工作，并开拓其在生物医药、智能制造、国防安全等领域的前沿应用。研究成果已在SCI源刊上发表论文270余篇，其中46篇论文被选作OEA、Light、Optica等期刊封面论文，25篇论文入选ESI高被引/热点论文，论文被引近2万次。获中国光学工程学会技术发明奖一等奖、江苏省科学技术奖基础类一等奖、日内瓦国际发明展“特别嘉许金奖”等。培养研究生6人获全国光学工程优秀博士论文/提名奖，5人获中国光学学会王大珩光学奖，13人入围Light全国光学博士生学术竞赛全国百强，获“挑战杯”、“创青春”、“研电赛”全国金奖十余次，“互联网+”全国总冠军。师生双创事迹得到央视《焦点访谈》、人民网、新华网、光明日报、中国教育电视台等百余家媒体报道，社会辐射影响广泛。