超高速仿生脉冲片上视觉系统研制获进展

片上视觉系统电路是一种“传感-存储-计算”一体化的智能视觉感知系统，能够完成实时的图像获取、信号处理及智能图像处理任务，可广泛应用于敏捷机器人、智能无人机以及工业机器视觉等前沿领域。现有片上视觉系统以多比特实数形式进行图像获取、传输、处理，并采用计算视觉和深度学习方法分别完成图像信号增强和智能认知的处理任务，面临两阶段分离训练、数据流结构和处理范式变化、计算复杂度高、片上存储开销大、处理延迟和功耗大等诸多的设计和应用挑战。

图1超高速仿生脉冲片上视觉系统架构及其信号流

图2超高速仿生脉冲片上视觉系统硬件照片和识别精度随照度变化曲线测试结果

中国科学院半导体研究所刘力源研究员带领团队在超高速仿生片上视觉系统电路设计领域取得重要进展。团队创新性地设计了一款集成了单光子脉冲型图像传感器和脉冲神经网络处理器的超高速仿生脉冲片上视觉系统（图1），单光子雪崩二极管像素（SPAD）阵列天然地生成高速脉冲型图像信号，端到端的脉冲神经网络完成图像信号增强和智能图像识别任务，成功地实现了仿人类视觉系统的全脉冲型图像获取、传输、处理的功能。

端到端的脉冲神经网络集成了前端的图像增强层和后端的智能认知层，采用深度学习方式实现图像增强与目标识别的融合训练，提高推理精度，降低参数冗余。图像增强层和智能认知层都采用了脉冲神经元模型进行计算，极大地降低了计算单元的复杂度；重构处理单元电路支持相同计算并行度下完成两个神经网络层处理，无需使用独立专用的图像信号处理器，提高了硬件使用效率，为实现超高速片上视觉系统电路提供了一种全新的路径。

脉冲片上视觉系统测试最高成像速率为每秒10万脉冲图像帧，在MNIST数据集上的识别准确率为99.2%，最高识别推理速度达10000次/秒，在1.43mlux的低照度条件下实现了95.3%的识别准确率;?在马赛克彩色ETH-80数据集上的识别准确率为94.3%。在保持相同的高识别准确率的情况下，本文工作将弱光目标识别的照度水平进一步降低了一个数量级。该项研究为边端视觉设备提供了实现超高速视觉感算一体化高集成度片上系统的新方法。

上述研究成果以“A 10 000-Inference/s Bio-Inspired Spiking Vision Chip Based on an End-to-End SNN Embedding Image Signal Enhancement”为题，发表于《IEEE?固态电路期刊》 （IEEE?Journal of Solid-State Circuits）。此项研究成果由半导体所助理研究员杨旭和刘力源研究员等共同完成。

此项工作得到了国家自然科学基金和北京市自然科学基金等项目的资助。