给稀疏数据“补短板”，科学家让AI学会“脑补”

大脑是高度复杂的精密系统，即使只看到物体的一部分，也能“脑补”出其完整的形状；即使场景信息不完整，也能通过连续的空间理解，进而认识物理世界。那么，在人工智能（AI）快速发展的当下，智能系统能否也能像大脑一样，高效完成类似的重建工作？

近日，由南方科技大学王中锐团队联合复旦大学刘琦、刘明团队，中国科学院微电子研究所尚大山团队，香港大学齐晓娟团队和香港科技大学郑光廷等在《自然》发表的最新研究，提出了基于忆阻器存算一体的高效神经场重建系统，该系统如同给AI装上“智能大脑”，在医学影像、三维视觉和动态场景的特定任务中，较传统的图形处理器（GPU）实现了数十倍的能效提升。

该成果突破了传统计算机构中存算分离所导致的功耗过大、数据缺失等瓶颈问题，有望为医学影像、AR/VR和具身智能中的高效AI系统提供了一条新的硬件实现路径。

研究示意图。研究团队供图

给稀疏数据“补短板”

在很多真实场景中，智能系统面对的往往是不完整的信息。例如，医学CT扫描需要控制辐射剂量，不能无限增加扫描次数；机器人和自动驾驶系统只能从有限视角观察周围环境；AR/VR应用设备则需要快速生成不同视角下的三维场景。

但传统计算机方法通常需要存储大量像素、体素、点云或网格数据，数据越精细，计算量和存储量就越大，很难在低功耗设备上实时运行。“传统的数字图像存储就像是‘记账’，需要把画面里的每一个像素点的数据都详细记录下来，极其耗费存储空间。”论文第一作者于亦非解释，如何从稀疏、不完整的输入中恢复高质量信号，是人工智能系统面向真实应用时的重要问题。

针对智能系统重建数据的难题，研究人员采用了神经场技术，这种技术就像函数，只要输入空间坐标，就能自动推算出对应位置的图像细节。传统的计算框架（冯·诺依曼框架）中，存储和计算是分开的，在计算过程中，数据需要像“运快递”一样，在存储器和处理器之间来回搬运，不仅速度慢，还十分费电。而神经场模型需要大量推理和运算，在计算过程中会产生海量的运算数据，这在传统的计算平台上更容易受到数据搬移、能耗过大和延迟等问题。

那么，能否用更紧凑、更协同的计算方式来呈现复杂世界，并用更高效的硬件完成计算？

由此，研究团队提出了一个核心思路——将“神经场”和“忆阻器存算”结合起来。忆阻器既可以存储信息，也可以参与计算。通过忆阻阵列，矩阵运算可以在存储单元内部完成，从而减少数据搬运，提高并行计算效率。根据这一特性，他们构建了基于40纳米、256Kb的忆阻器存算一体的神经场重建系统。

存算一体，高效协同

“这项研究历时四年。最困难的部分就是要让软件算法和物理硬件彼此相互适配。起初我们用传统的方法直接把模型部署到忆阻器阵列上，结果重建出来的图像非常模糊。”论文共同通讯作者、复旦大学教授刘琦回忆，团队花了很长时间思考：是硬件本身不行，还是使用硬件的方式不对？”

“后来，我们不能把硬件当作‘完美的计算单元’来用，而应该让算法去适应硬件的不完美。”刘琦介绍，正是这种思路的转变，他们提出了一种“硬件感知量化”方法，通过动态补偿误差的方法，提高了计算的精度。

此外，团队还在软硬件等多个层面进行了协同创新：在算法层面，他们通过硬件感知的设计，让算法变得更“轻”，从而能够适配边缘计算等计算资源有限的场景；在硬件层面，团队利用忆阻器的“随机性”的特点，以生成高斯编码所需的随机矩阵，帮助神经场获得更丰富的特征表达能力。通过这种软硬件协同多个层面的协同，团队最终实现了在器件低功耗下进行高精度的信号重建。

“这项研究联合了多个单位的科研人员，正是在多学科深度交叉的合作模式下，团队逐步攻克了器件物理、集成电路设计、计算机体系结构、机器学习等方面的技术难题。”刘琦介绍。

较GPU实现能效提升数十倍

为验证该系统的性能，研究团队将这一系统运用在医学影像、三维视觉和动态场景中。

在3D CT稀疏重建任务中，该系统能够根据有限数量的CT切片恢复较完整的三维医学影像，相较GPU实现约23.5倍的折算能效提升。为低剂量、快速医学成像提供了潜在方案；在新视角合成任务中，该系统能够根据已有图像生成不同观察角度下的三维场景图像，相较GPU实现约21.0倍的折算能效提升，有望用于AR/VR、三维内容生成和机器人视觉等场景应用；研究团队还进一步评估了系统在动态场景新视角合成任务中的应用潜力，实现32.3倍的折算能效提升，说明该系统不仅适用于静态三维重建，也具有处理复杂时空信号的潜力。

审稿人评价道，该工作探索了一个非常有趣且有用的方向，在神经场重建的软硬件协同设计领域做出了有价值和有应用前景的贡献。

“这项研究的意义不仅在于提升了某一个任务的速度或能效，更在于提供了一种新的AI系统设计范式与计算范式，新型存算硬件不只是传统处理器的辅助，它或许能成为设计高效AI系统的重要组成部分。”论文共同通讯作者、中国科学院微电子研究所研究员尚大山说道。

“利用该技术，未来的医疗仪器或许只需要采集少量的CT切片，就能快速、低功耗地重建完整三维影像，从而降低患者暴露在辐射下的时间；在AR/VR以及具身智能领域，该技术有望让边缘设备在仅靠一块小电池供电的情况下，实时理解并渲染出复杂的三维空间。”论文共同通讯作者、南方科技大学副教授王中锐表示。