展开文章目录
冯·诺依曼架构把存储与计算分开,AI 的大量权重读取因此成为能耗主项。CIM 把乘加操作放进存储阵列附近;神经形态计算则用脉冲、事件和稀疏通信模拟生物系统的信息处理。
CIMPool 的启示
CIMPool 针对 SRAM CIM 容量不足的问题,提出权重池共享与压缩,让更大的网络放进片上存储,并协同设计压缩、硬件置换和数据流。论文展示的是特定基准与配置下的面积和能耗收益,不是所有模型都能获得同样比例。
关键约束包括:
- 阵列精度与 ADC/DAC 开销;
- 权重压缩后的反量化;
- 复用模式是否与数据布局匹配;
- 良率、温度漂移和校准。
神经形态的适用面
事件驱动硬件只在输入变化时产生计算,适合稀疏、时序、低延迟的传感任务。对稠密 Transformer,事件化本身可能引入编码和同步开销。2026 年综述强调材料、器件、混合信号电路与学习算法的跨层协同,说明这不是“换一颗芯片”就能完成。
稀疏能耗实验 把稀疏度、CIM 效率与事件开销放在一起。它展示的是收益翻转点:稀疏度不够或控制开销太高时,理论优势会消失。
结论
评估 CIM/神经形态时,先问负载是否真的受权重读取或事件稀疏性驱动,再问外围电路和软件是否能跟上。能效优势必须来自端到端测量,而不是只比较阵列内 MAC 能量。
从“搬权重”开始算
在传统数字加速器中,一次矩阵乘的能耗可以粗略拆成:
当模型权重远大于片上缓存,权重读取和寄存器搬运会占据很大比例。CIM 的目标是让乘加在存储阵列内部完成,减少“读出权重再送到 MAC”的往返。但阵列仍需要输入驱动、行列选择、模拟累加、ADC/DAC 和数字控制。
如果 被降低,而 ADC 与外围控制没有同步降低,系统级收益会被截断。因此不能把 macro 的 TOPS/W 当作芯片或板卡的 TOPS/W。至少需要区分:
- 阵列内计算能量;
- 输入/输出转换能量;
- 权重加载与刷新;
- 数字后处理与路由;
- 空闲和漏电。
SRAM CIM 与新型存储
SRAM CIM 可以使用相对成熟的 CMOS 工艺,适合权重池化、位并行和小规模推理;但 SRAM 单元面积和静态漏电限制了容量。ReRAM、PCM、MRAM 等非易失存储可能提供更高密度或非易失性,却引入器件变异、写能耗、耐久性和模拟精度问题。
CIMPool 的思路是把多个操作数或权重池共享,并通过压缩和硬件置换降低 SRAM 容量压力。它说明 CIM 研究不能只做单个 macro,还要考虑权重如何在池之间迁移、压缩如何影响精度、tile 如何调度。对边缘模型,权重池的命中率和置换开销可能决定实际收益。
模拟精度与量化
模拟计算的噪声、线性度、温漂和 ADC 分辨率会直接影响有效位宽。一个标称 8-bit 的 CIM macro,经过输入驱动、模拟累加和 ADC 后,有效精度可能低于 8-bit。若为了提高精度增加校准、冗余或数字后处理,外围能耗会上升。
神经网络对量化误差有一定容忍度,但不同层的敏感度不同。第一层或输出层可能需要更高精度,注意力 logits 的偏差可能改变 token 选择。CIM 设计需要把量化方案与阵列精度一起考虑,而不是先做硬件再让软件适配。
神经形态的边界
神经形态硬件把信息表示成事件或脉冲,只有在输入变化时才产生计算。对于稀疏传感器、事件相机、低占空比控制,事件驱动可能显著降低平均功耗。对稠密 Transformer,输入几乎每步都变化,事件化可能只是把连续数值编码成更多离散事件。
事件驱动还需要时间编码、脉冲路由、膜电位状态和训练算法。若模型必须在 GPU 上训练后再映射到脉冲硬件,转换误差和工具链成熟度会成为新门槛。一个低功耗神经形态 demo 不一定能直接承载通用语言模型。
评估的三条基线
比较 CIM 或神经形态方案时,至少需要三条基线:
- 数字基线:同精度、同模型、同 batch 的 CPU/GPU/NPU 实现;
- 存储基线:传统 SRAM/DRAM 层级下的数据移动能耗;
- 算法基线:不依赖稀疏或事件编码的等价模型。
测试指标应包含 iso-accuracy、iso-voltage、iso-frequency 和端到端延迟。只在最高精度、最高频率或最稀疏数据集上报告能效,会掩盖真实部署条件。
适合与不适合的负载
CIM 更适合权重密集、复用高、精度要求可控的推理,例如固定形状的小型视觉网络或传感器前端。神经形态更适合事件稀疏、时序相关的感知。它们通常不适合需要频繁权重更新、动态控制流或大规模通用注意力的任务。
“更接近存储”不是目的,降低端到端数据移动并保持可用精度才是目的。若算法和编译器不能把数据布局映射到阵列,CIM 的优势会被格式转换抵消。
结论
存算一体的研究价值是真实的,但它是一条跨器件、电路、架构和算法的长链。评价时应从系统能耗和任务质量出发,拆开阵列、ADC、控制、缓存和算法开销。只有在端到端测量中仍然占优,才可以把实验室能效数字转化为产品能力。
软件如何映射到阵列
神经网络张量需要被切成适合 CIM 阵列的 tile。权重布局决定 MAC 阵列的行列映射、输入广播方式和输出累加路径。若模型包含卷积、注意力或动态 shape,编译器还要处理 padding、stride、mask 和多分支。
一个高效映射通常需要:
- 权重压缩与稀疏格式;
- tile 调度,使阵列利用率最大化;
- 输入驱动与 ADC 采样同步;
- 累加结果的部分和存储;
- 层间融合,减少中间结果往返;
- 校准表与温度补偿。
如果软件只能执行固定形状的简单网络,CIM 的通用性就很有限。反之,如果编译器能自动搜索 tile 与数据布局,硬件优势才可能扩展到新模型。
CIMPool 的工程启示
CIMPool 讨论权重池共享与压缩,目标是缓解 SRAM CIM 容量不足。它提醒我们,阵列容量和模型规模之间的差距不能只靠提高密度解决。权重池需要处理置换、复用、压缩和错误恢复。
对端侧设备,权重池还可能影响启动时间:模型加载、解压和校验都要占用 CPU 与带宽。若切换模型频繁,池的碎片和迁移成本会上升。对固定模型长期运行,池化收益更明显。
神经形态的算法协同
事件驱动网络通常需要稀疏编码、脉冲神经元和时序学习。把传统 CNN 或 Transformer 直接转换为事件输入,会产生大量编码开销。适合的负载通常是传感器事件流、低占空比监测或小规模时序分类。
评估神经形态方案时,需要区分:
- 传感器是否原生产生事件;
- 模型是否利用时间稀疏性;
- 训练是否在目标硬件上可复现;
- 精度与延迟是否满足任务;
- 事件路由和同步是否成为瓶颈。
否则,事件驱动的低平均功耗可能只来自任务空转,而不是计算效率。
基准设计
建议使用三个层次的基准:
| 层次 | 目的 |
|---|---|
| Macro | 阵列吞吐、精度、ADC 能量 |
| 芯片 | 真实模型、片上缓存、路由与功耗 |
| 系统 | 传感器、电源、热和端到端延迟 |
只有三层都占优,才能说 CIM 对产品有价值。Macro 数据不能直接推导系统结论,系统数据也不能掩盖阵列的精度问题。
风险清单
- 低精度难以满足长尾任务;
- 温度漂移导致输出偏移;
- 权重压缩破坏可解释性;
- 工具链只支持有限算子;
- ADC 功耗抵消阵列收益;
- 事件编码开销超过稀疏收益;
- 测试与校准成本过高;
这些风险应写入立项评审,而不是留到流片后处理。CIM 的能效潜力需要工程化验证,不能用单个峰值指标替代。
最后,CIM 的软件接口应允许回退到数字路径。若某层精度、形状或校准不满足要求,编译器应能选择传统实现,而不是让整个模型失败。可组合的硬件与可回退的编译策略,比宣称“所有层都在存内计算”更接近可部署系统。
对研究团队,最小可信证据是:公开模型、公开数据、同一数字基线、端到端测量和失败案例。缺少其中任一项,都只能作为方向性线索。CIM 可以改变能效边界,但必须用完整系统证明边界真的移动了。
在论文复现时,优先记录不随工艺变化的相对关系,例如稀疏度提高后收益是否单调、外围控制何时占比过高、精度下降是否可被任务容忍。绝对能效数字只在明确工艺、电压、温度和测量方法后才有意义。
把失败案例纳入复现,能避免把一次配置成功的偶然性当成通用规律。
在项目评估阶段,可以先做一个不用真实硅片的“外围开销账本”:列出 ADC、DAC、阵列利用率、权重写入、数据重组和纠错成本。若这些开销已经超过数字加速器预算,就没有必要继续假设峰值能效会自然兑现。只有把器件、模型和系统三层数字放在一起,CIM 的适用边界才清楚。
落地前还要回答模型映射问题:哪些层适合放进阵列,哪些必须留在数字域,稀疏索引如何表示,精度下降能否被任务接受。无法回答这些问题时,CIM 的能效数字仍然停留在器件论文层面。
把模型映射与外围开销同时纳入评审,是判断 CIM 是否值得进入下一阶段的必要门槛。
在真实任务中,还应比较同精度数字加速器的端到端能耗,而不是只比较阵列内乘加。外围控制和数据转换往往才是决定方案能否省电的部分,遗漏它们会高估收益。
如果论文只给出乘加能效,而没有说明数据搬运、ADC 和空闲功耗,这个数字不能直接用于产品决策。把它放回完整任务流水线,通常才会看到真正的瓶颈。
把这项比较做成固定评审表,能避免团队在器件论文和真实系统之间反复跳步。
只要外围账本没有闭合,就不能把峰值能效当作产品收益。
因此,CIM 的结论应是带条件的适用性判断,而不是脱离任务的无条件替代。
先把外围开销算清,再讨论能效上限,是更可靠的研究与工程顺序。
这也意味着任何 CIM 结论都要附带具体模型、阵列规模与外围假设,不能只给一个漂亮倍数。
- 02模拟 MAC交叉阵列
- 03ADC量化与噪声
- 05有效能效整链路核算
模拟域阵列之后仍有 ADC、外围控制、索引和同步,稀疏收益取决于整条链。
证据清单
来源与适用范围
- 论文
- 论文Neuromorphic Computing - An Overview
Jung et al. · 2025
- 论文Neuromorphic Computing for Low-Power Artificial Intelligence
Katti et al. · 2026
限定条件:基于 CIMPool、神经形态综述与 2026 年低功耗 AI 综述的分析;不复述器件级数值。