1. 项目概述当红外“眼睛”学会思考最近几年人工智能的浪潮席卷了各行各业从手机上的语音助手到自动驾驶汽车背后都离不开海量的数据运算。但不知道你有没有想过我们现在的AI系统其实有点像一台“盲人计算机”——它需要先把外部世界的信息比如图像、声音通过传感器摄像头、麦克风采集下来转换成数字信号再千里迢迢地送到中央处理器CPU/GPU去计算。这个过程不仅耗电还慢尤其是在处理像红外图像这种数据量本身就很大的信息时瓶颈非常明显。这就引出了一个非常前沿的研究方向感存算一体。简单来说就是让传感器本身“长脑子”让它不仅能“看见”感知还能“记住”存储更能“思考”计算。这就像把眼睛和大脑的功能集成在一个细胞里看到的同时就在理解效率会呈指数级提升。而红外技术作为能在黑暗中“视物”、穿透烟雾尘埃的“火眼金睛”如果能和感存算一体结合其想象空间巨大——从让无人机在夜间自主避障到让安防摄像头实时识别异常热源都不再需要庞大的后台服务器支持。上海技物所中国科学院上海技术物理研究所近期取得的这项进展正是瞄准了这个极具潜力的交叉点。他们研究的红外感存算一体神经形态光电器件本质上是在尝试打造一种全新的硬件基石。这种器件模仿了生物神经元的工作方式能够直接对接收到的红外光信号进行原位处理与初步判断从而有望彻底改变传统红外成像系统的架构。我关注这个领域有段时间了深感其意义不在于某个参数的微小提升而在于提供了一种全新的问题解决范式。接下来我就结合自己的理解为大家拆解这项技术背后的核心逻辑、实现难点以及它可能开启的未来。2. 核心思路为何要走向“感存算一体”要理解这项研究的价值我们得先看看现在主流的红外系统是怎么工作的。一个典型的非制冷红外焦平面阵列其工作流程可以概括为“感知-读出-转换-计算”四步走。2.1 传统架构的“阿喀琉斯之踵”首先红外探测器像元接收到物体发出的红外辐射产生微弱的电信号变化感知。接着这个模拟信号被复杂的读出电路ROIC采集并放大读出。然后通过模数转换器ADC变成一串串“0”和“1”的数字信号转换。最后这海量的数字数据通过总线传输到专用的图像处理芯片或通用处理器中进行计算实现测温、识别等功能计算。这个流程存在几个固有的瓶颈功耗墙数据在传感器、存储器和处理器之间来回搬运是系统功耗的主要来源。有研究表明在传统冯·诺依曼架构中数据搬运的能耗可能占总能耗的60%以上。对于依赖电池的无人机、手持设备或物联网节点这是致命伤。带宽墙与延迟高分辨率的红外图像数据量巨大从传感器到处理器的传输路径形成了带宽瓶颈导致处理延迟。这在需要实时响应的场景如自动驾驶避障中是难以接受的。“冗余”计算很多红外应用如人体检测、特定设备状态监控并不需要处理图像的每一个细节。传统流程却不得不对所有像素进行全精度数字化和传输造成了巨大的计算和能耗浪费。2.2 生物启发的“神经形态”之路而大自然早已给出了更优的解决方案——我们的大脑。视网膜不仅仅是一个传感器它本身就对视觉信息进行了初步的预处理如边缘增强、动态范围压缩。神经元既是计算单元也通过突触权重的变化实现信息存储记忆。这种感知、存储、计算紧密耦合的方式高效且低功耗。神经形态计算就是受此启发旨在设计出硬件层面模仿神经元和突触行为的电子器件。传统的感存算一体研究多集中在利用新型存储器如忆阻器来模拟突触实现乘积累加运算。但上海技物所这项工作的特别之处在于它将“感”的部分聚焦在了红外光这个特殊的物理信号上并且试图将光电转换过程与神经形态特性在同一个器件物理层面上融合起来。他们的核心思路我理解为是让红外光电响应本身具备“记忆”和“初步逻辑”能力。不是简单地把一个红外探测器和一块忆阻器拼在一起而是设计一种新材料或新结构使得器件在受到红外光照射时其电学状态如电阻、电流的变化不仅与当前光照有关还与此前的光照历史相关这就是“记忆”并且这种状态变化能直接体现某种计算逻辑比如“如果某区域温度持续升高则输出报警信号”。这相当于在数据产生的源头——光电子层面就完成了第一次信息筛选和特征提取只将“有意义”的、或经过初步处理的信息向后传递从而从根本上规避了“带宽墙”和“冗余计算”问题。3. 技术深潜器件如何实现“感存算”那么一个器件如何同时实现红外感知、信息存储和神经形态计算呢这需要从材料、结构和物理机制三个层面进行创新设计。根据公开的学术资料和类似研究我推测上海技物所的工作可能涉及以下几种主流或前沿的技术路径。3.1 核心材料体系的选择要实现红外感存算材料是关键。它需要同时满足几个苛刻条件对红外光敏感能够在特定红外波段如中波红外3-5μm长波红外8-14μm有效吸收光子并产生显著的物理效应如载流子激发、相变、铁电极化翻转等。具备非易失性记忆特性其物理状态如电阻、极化方向可以在外部激励光、电下发生改变并在激励撤消后能保持一段时间。状态连续可调记忆状态的变化最好是模拟量、连续可调的这样才能模拟生物突触的权重实现高精度的神经网络计算。目前有几种材料体系备受关注二维材料及其异质结如石墨烯、黑磷、过渡金属硫族化合物MoS₂, WSe₂等。它们的能带结构易于调控对光敏感且表面洁净易于构建复杂的异质结构。通过堆叠不同二维材料可以形成内建电场光生载流子在其中被分离和捕获从而产生持久光电导效应实现光强的记忆。氧化物半导体与忆阻材料如氧化铟锡ITO、氧化锌ZnO与氧化铪HfO₂、氧化钽TaOₓ等忆阻层的结合。红外光可能通过热效应或光生载流子效应触发忆阻层中氧空位细丝的形成或断裂从而改变器件整体电阻且该电阻状态可保持。相变材料PCM如Ge₂Sb₂Te₅GST。它们可以在晶态低阻和非晶态高阻之间可逆转变。红外光照射产生的局部热效应可以精确控制材料的相变程度实现多阻态存储非常适合模拟突触权重。注意材料的选择绝非孤立。它必须与器件结构、电极设计、制备工艺协同优化。例如为了提升红外吸收效率可能需要设计光学谐振腔或等离激元结构为了确保电学性能稳定电极材料与功能层的接触界面工程至关重要。3.2 典型的器件物理机制基于上述材料研究者们会设计出特定的器件结构通常为简单的两端或三端结构并利用以下一种或多种物理机制来实现感存算功能光致阻变效应器件初始处于某一电阻态。当特定波长的红外光照射时光生载流子被材料中的缺陷如氧空位捕获或者光热效应促使离子迁移导致器件电阻发生不可逆或可逆的改变。光照停止后新的电阻态得以保持。不同光强或光照时间对应不同的最终电阻这就实现了“光强-阻值”的映射与记忆。这个阻值可以直接作为神经网络的突触权重。浮栅晶体管结构这类似于传统闪存。红外光照射产生光生载流子电子-空穴对其中的电子在栅极电场辅助下被注入并存储在浮栅中。浮栅中捕获的电荷量会调制晶体管的沟道电导。光照越强注入电荷越多电导变化越大且断电后电荷能保留。这样红外光信号就被直接转换并存储为模拟的电导值可用于计算。光电突触仿生这是更接近生物的实现方式。通过设计器件使其在红外光脉冲类似神经递质刺激作用下输出电流能表现出短期可塑性STP或长期可塑性LTP。例如一个弱光脉冲引起电流微小、快速衰减的变化STP对应短期记忆而一连串强光脉冲则引起电流大幅、缓慢衰减甚至永久性的变化LTP对应长期记忆。这种特性可以直接用于实现脉冲神经网络SNN中的时空信息处理。3.3 上海技物所可能的创新点虽然无法获知其具体技术细节但结合其深厚的红外光电研究背景我们可以进行一些合理的推测。他们的突破可能体现在红外特异性的材料设计可能合成或发现了一种对中长波红外具有极高吸收系数和光响应度的新型功能材料并且该材料本征就具备良好的非易失性记忆特性。光-电-热多物理场耦合的巧妙利用红外光尤其是长波红外具有很强的热效应。他们可能没有将热效应视为干扰反而主动利用它。例如设计一种器件其相变或阻变过程对温度极其敏感利用红外光产生的微区温升来精确操控器件状态实现了低功耗的光控存储。器件结构与读出电路协同设计为了真正实现“一体”他们可能设计了与神经形态计算架构如交叉阵列高度兼容的器件单元结构并开发了与之匹配的低噪声、模拟读出电路使得阵列级集成成为可能。4. 从器件到系统如何构建红外神经形态视觉单个器件性能优异只是第一步。要将它用于实际必须考虑如何将成千上万个这样的器件集成起来形成一个能处理二维红外图像的“神经形态视觉芯片”。这涉及到阵列设计、互联、以及算法映射等一系列系统级挑战。4.1 阵列架构与集成方案最理想的架构是感存算交叉阵列。在这个阵列中每一行和每一列的交叉点就是一个红外感存算一体器件。它的电导值G代表突触权重。当红外图像投射到阵列上时每个器件根据其接收到的光强独立地、并行地调整自身的电导完成感知和权重编程/更新。然后通过给各行输入特定的电压脉冲模拟神经元的输入信号利用基尔霍夫定律在每一列上输出的总电流就是该列所有输入电压与对应电导乘积之和即一次并行的向量-矩阵乘法VMM运算。这是神经网络中最核心、最耗时的操作。集成上的主要挑战包括均匀性与一致性大规模阵列中每个器件的初始性能、光响应灵敏度、记忆特性必须高度一致否则计算误差会累积放大。串扰在交叉阵列中当对某个器件进行读写或光编程时要确保不影响相邻器件。这需要精妙的选通电路设计。光串扰红外光可能在像素间发生衍射或散射导致一个像素的光信号影响邻居。这需要微透镜阵列或光学隔离结构来改善。4.2 算法与硬件的协同设计传统的深度学习算法如CNN是为数字GPU设计的不一定适合直接在模拟/混合信号的神经形态硬件上高效运行。因此需要算法-硬件协同设计。面向硬件的算法简化针对器件可能存在的非理想特性如电导值更新非线性、器件间波动设计鲁棒性更强的训练算法。或者直接采用更接近生物工作方式的脉冲神经网络SNN。SNN的稀疏、事件驱动特性与感存算一体器件对光脉冲的响应特性可能天然匹配。原位学习与更新感存算一体阵列的一个巨大优势是支持原位学习。系统可以在部署现场根据实时接收到的红外数据直接微调阵列中器件的电导权重实现自适应和持续学习。这需要设计相应的在线学习规则和外围电路。分层处理与异构计算一个完整的红外智能视觉系统可能采用异构架构。前端的感存算一体阵列负责完成低层、高数据吞吐量的特征提取如边缘检测、运动感知将处理后的稀疏特征或事件发送给后端更通用的数字处理器进行高层语义分析如目标分类。这样实现了效率和灵活性的平衡。5. 应用场景与未来展望这项技术一旦走向成熟其应用将深刻改变多个领域。我们可以从两个维度来看一是替代现有系统中“感知初级处理”的部分实现降本增效二是催生过去无法实现的新应用。5.1 近期的现实应用超低功耗智能安防与监控传统的智能摄像头需要持续将高清视频流上传至云端或本地服务器分析功耗和带宽成本高。采用红外感存算一体芯片的摄像头可以只在检测到特定红外特征如人体形状、异常热源时才触发录像或上传报警信息其余时间处于极低功耗的“感知待机”状态。非常适合野外电网巡检、边境周界安防、家庭隐私监控等场景。自动驾驶的冗余感知系统在恶劣天气雾、霾、黑夜下可见光摄像头和激光雷达可能失效而红外传感器是可靠的补充。感存算一体的红外系统可以实时处理红外图像快速识别出车辆、行人等热目标并将精简后的关键信息如目标位置、轨迹直接送给决策单元响应延迟极低提升了安全性。工业物联网与预测性维护在工厂中部署大量、微型的无线红外传感器节点监测关键设备如电机、轴承、配电柜的温度场。节点本地即可判断温度是否异常、温升趋势如何只发送预警信息而不是海量的原始温度图像极大延长了电池寿命降低了网络负载。便携式医疗诊断设备例如用于乳腺癌早期筛查的红外热成像仪。感存算一体芯片可以在设备端实时分析双侧乳房的热图对称性、血管形态等特征给出初步风险评估辅助医生快速筛查让高端医疗检测更加普惠和便捷。5.2 长远的颠覆性想象真正的事件驱动视觉系统模仿昆虫复眼或视网膜系统只对场景中的“变化”产生响应和计算。比如一个静止的监控场景中只有闯入的人或车才会触发像素级的计算事件实现近乎零的静态功耗。这对于构建大规模、永久部署的传感器网络至关重要。类脑红外感知芯片将感存算一体器件与模拟神经元电路集成构建出能处理红外视觉信息的完整“片上视网膜-视皮层”系统。这样的芯片可能具备强大的模式识别和联想记忆能力在复杂环境下表现出超越传统算法的鲁棒性。新型人机交互能够理解人体手势、表情甚至情绪热辐射的微型芯片集成到AR/VR眼镜、可穿戴设备中实现更自然、更隐秘的交互方式。6. 面临的挑战与思考尽管前景广阔但红外感存算一体器件从实验室走向市场还有漫漫长路。根据我在微电子和传感器领域的观察以下几个挑战尤为突出器件性能的权衡与优化感光性能响应度、探测率、存储性能保持时间、耐久度、计算性能线性度、对称性往往相互制约。例如提高光响应可能需要更厚的吸光层但这可能不利于器件状态的高速切换。如何通过材料工程和结构设计找到最佳平衡点是核心科学问题。大规模集成与良率实验室单个器件的优异性能在扩展到百万甚至千万像素阵列时能否保持制备工艺的均匀性、可控性将是产业化的巨大门槛。这需要半导体工艺线的深度介入和迭代。标准化与生态缺失与传统CMOS图像传感器CIS成熟的产业链和标准接口相比神经形态感存算一体芯片还是一个“非主流”的新生事物。缺乏统一的架构标准、编程模型、开发工具链会阻碍应用开发者的进入。算法与硬件的深度磨合目前大多数神经网络算法仍是“硬件无关”的。要释放这种新型硬件的全部潜力可能需要从数学原理上重新思考计算范式开发原生适配的算法。这是一个需要计算机科学家、算法工程师和硬件工程师紧密协作的领域。我个人认为这项研究最令人兴奋的地方不在于它立刻能做出一个多厉害的产品而在于它为我们提供了一条绕过传统计算架构瓶颈的全新路径。它把信息处理的起点从数字世界的“比特”重新拉回到了物理世界的“光子”和“电子”尝试在能量与信息转换的最初环节就注入智能。这更像是一场思维方式的变革。当然这条路上充满了未知和挑战但每一次器件物理机制的创新每一次阵列集成技术的突破都可能为未来的智能感知世界添上一块坚实的基石。对于从事相关领域的研究者和工程师来说现在正是深入理解、甚至参与塑造这个方向的好时机。毕竟当设备的“眼睛”真正学会思考时我们所能创造的将远超今天的想象。