存算一体与神经形态:能效边界,而非万能替代

从 CIMPool 的权重池到 2026 年神经形态综述,分析数据复用、稀疏性与控制开销的真实权衡。

展开文章目录

冯·诺依曼架构把存储与计算分开,AI 的大量权重读取因此成为能耗主项。CIM 把乘加操作放进存储阵列附近;神经形态计算则用脉冲、事件和稀疏通信模拟生物系统的信息处理。

CIMPool 的启示

CIMPool 针对 SRAM CIM 容量不足的问题,提出权重池共享与压缩,让更大的网络放进片上存储,并协同设计压缩、硬件置换和数据流。论文展示的是特定基准与配置下的面积和能耗收益,不是所有模型都能获得同样比例。

关键约束包括:

  • 阵列精度与 ADC/DAC 开销;
  • 权重压缩后的反量化;
  • 复用模式是否与数据布局匹配;
  • 良率、温度漂移和校准。

神经形态的适用面

事件驱动硬件只在输入变化时产生计算,适合稀疏、时序、低延迟的传感任务。对稠密 Transformer,事件化本身可能引入编码和同步开销。2026 年综述强调材料、器件、混合信号电路与学习算法的跨层协同,说明这不是“换一颗芯片”就能完成。

稀疏能耗实验 把稀疏度、CIM 效率与事件开销放在一起。它展示的是收益翻转点:稀疏度不够或控制开销太高时,理论优势会消失。

结论

评估 CIM/神经形态时,先问负载是否真的受权重读取或事件稀疏性驱动,再问外围电路和软件是否能跟上。能效优势必须来自端到端测量,而不是只比较阵列内 MAC 能量。

从“搬权重”开始算

在传统数字加速器中,一次矩阵乘的能耗可以粗略拆成:

E≈EMAC⋅op+Eread⋅bytes+EcontrolE \approx E_{\text{MAC}} \cdot \text{op} + E_{\text{read}} \cdot \text{bytes} + E_{\text{control}}

当模型权重远大于片上缓存,权重读取和寄存器搬运会占据很大比例。CIM 的目标是让乘加在存储阵列内部完成,减少“读出权重再送到 MAC”的往返。但阵列仍需要输入驱动、行列选择、模拟累加、ADC/DAC 和数字控制。

如果 EreadE_{\text{read}} 被降低,而 ADC 与外围控制没有同步降低,系统级收益会被截断。因此不能把 macro 的 TOPS/W 当作芯片或板卡的 TOPS/W。至少需要区分:

  • 阵列内计算能量;
  • 输入/输出转换能量;
  • 权重加载与刷新;
  • 数字后处理与路由;
  • 空闲和漏电。

SRAM CIM 与新型存储

SRAM CIM 可以使用相对成熟的 CMOS 工艺,适合权重池化、位并行和小规模推理;但 SRAM 单元面积和静态漏电限制了容量。ReRAM、PCM、MRAM 等非易失存储可能提供更高密度或非易失性,却引入器件变异、写能耗、耐久性和模拟精度问题。

CIMPool 的思路是把多个操作数或权重池共享,并通过压缩和硬件置换降低 SRAM 容量压力。它说明 CIM 研究不能只做单个 macro,还要考虑权重如何在池之间迁移、压缩如何影响精度、tile 如何调度。对边缘模型,权重池的命中率和置换开销可能决定实际收益。

模拟精度与量化

模拟计算的噪声、线性度、温漂和 ADC 分辨率会直接影响有效位宽。一个标称 8-bit 的 CIM macro,经过输入驱动、模拟累加和 ADC 后,有效精度可能低于 8-bit。若为了提高精度增加校准、冗余或数字后处理,外围能耗会上升。

神经网络对量化误差有一定容忍度,但不同层的敏感度不同。第一层或输出层可能需要更高精度,注意力 logits 的偏差可能改变 token 选择。CIM 设计需要把量化方案与阵列精度一起考虑,而不是先做硬件再让软件适配。

神经形态的边界

神经形态硬件把信息表示成事件或脉冲,只有在输入变化时才产生计算。对于稀疏传感器、事件相机、低占空比控制,事件驱动可能显著降低平均功耗。对稠密 Transformer,输入几乎每步都变化,事件化可能只是把连续数值编码成更多离散事件。

事件驱动还需要时间编码、脉冲路由、膜电位状态和训练算法。若模型必须在 GPU 上训练后再映射到脉冲硬件,转换误差和工具链成熟度会成为新门槛。一个低功耗神经形态 demo 不一定能直接承载通用语言模型。

评估的三条基线

比较 CIM 或神经形态方案时,至少需要三条基线:

  1. 数字基线:同精度、同模型、同 batch 的 CPU/GPU/NPU 实现;
  2. 存储基线:传统 SRAM/DRAM 层级下的数据移动能耗;
  3. 算法基线:不依赖稀疏或事件编码的等价模型。

测试指标应包含 iso-accuracy、iso-voltage、iso-frequency 和端到端延迟。只在最高精度、最高频率或最稀疏数据集上报告能效,会掩盖真实部署条件。

适合与不适合的负载

CIM 更适合权重密集、复用高、精度要求可控的推理,例如固定形状的小型视觉网络或传感器前端。神经形态更适合事件稀疏、时序相关的感知。它们通常不适合需要频繁权重更新、动态控制流或大规模通用注意力的任务。

“更接近存储”不是目的,降低端到端数据移动并保持可用精度才是目的。若算法和编译器不能把数据布局映射到阵列,CIM 的优势会被格式转换抵消。

结论

存算一体的研究价值是真实的,但它是一条跨器件、电路、架构和算法的长链。评价时应从系统能耗和任务质量出发,拆开阵列、ADC、控制、缓存和算法开销。只有在端到端测量中仍然占优,才可以把实验室能效数字转化为产品能力。

软件如何映射到阵列

神经网络张量需要被切成适合 CIM 阵列的 tile。权重布局决定 MAC 阵列的行列映射、输入广播方式和输出累加路径。若模型包含卷积、注意力或动态 shape,编译器还要处理 padding、stride、mask 和多分支。

一个高效映射通常需要:

  • 权重压缩与稀疏格式;
  • tile 调度,使阵列利用率最大化;
  • 输入驱动与 ADC 采样同步;
  • 累加结果的部分和存储;
  • 层间融合,减少中间结果往返;
  • 校准表与温度补偿。

如果软件只能执行固定形状的简单网络,CIM 的通用性就很有限。反之,如果编译器能自动搜索 tile 与数据布局,硬件优势才可能扩展到新模型。

CIMPool 的工程启示

CIMPool 讨论权重池共享与压缩,目标是缓解 SRAM CIM 容量不足。它提醒我们,阵列容量和模型规模之间的差距不能只靠提高密度解决。权重池需要处理置换、复用、压缩和错误恢复。

对端侧设备,权重池还可能影响启动时间:模型加载、解压和校验都要占用 CPU 与带宽。若切换模型频繁,池的碎片和迁移成本会上升。对固定模型长期运行,池化收益更明显。

神经形态的算法协同

事件驱动网络通常需要稀疏编码、脉冲神经元和时序学习。把传统 CNN 或 Transformer 直接转换为事件输入,会产生大量编码开销。适合的负载通常是传感器事件流、低占空比监测或小规模时序分类。

评估神经形态方案时,需要区分:

  1. 传感器是否原生产生事件;
  2. 模型是否利用时间稀疏性;
  3. 训练是否在目标硬件上可复现;
  4. 精度与延迟是否满足任务;
  5. 事件路由和同步是否成为瓶颈。

否则,事件驱动的低平均功耗可能只来自任务空转,而不是计算效率。

基准设计

建议使用三个层次的基准:

层次目的
Macro阵列吞吐、精度、ADC 能量
芯片真实模型、片上缓存、路由与功耗
系统传感器、电源、热和端到端延迟

只有三层都占优,才能说 CIM 对产品有价值。Macro 数据不能直接推导系统结论,系统数据也不能掩盖阵列的精度问题。

风险清单

  • 低精度难以满足长尾任务;
  • 温度漂移导致输出偏移;
  • 权重压缩破坏可解释性;
  • 工具链只支持有限算子;
  • ADC 功耗抵消阵列收益;
  • 事件编码开销超过稀疏收益;
  • 测试与校准成本过高;

这些风险应写入立项评审,而不是留到流片后处理。CIM 的能效潜力需要工程化验证,不能用单个峰值指标替代。

最后,CIM 的软件接口应允许回退到数字路径。若某层精度、形状或校准不满足要求,编译器应能选择传统实现,而不是让整个模型失败。可组合的硬件与可回退的编译策略,比宣称“所有层都在存内计算”更接近可部署系统。

对研究团队,最小可信证据是:公开模型、公开数据、同一数字基线、端到端测量和失败案例。缺少其中任一项,都只能作为方向性线索。CIM 可以改变能效边界,但必须用完整系统证明边界真的移动了。

在论文复现时,优先记录不随工艺变化的相对关系,例如稀疏度提高后收益是否单调、外围控制何时占比过高、精度下降是否可被任务容忍。绝对能效数字只在明确工艺、电压、温度和测量方法后才有意义。

把失败案例纳入复现,能避免把一次配置成功的偶然性当成通用规律。

在项目评估阶段,可以先做一个不用真实硅片的“外围开销账本”:列出 ADC、DAC、阵列利用率、权重写入、数据重组和纠错成本。若这些开销已经超过数字加速器预算,就没有必要继续假设峰值能效会自然兑现。只有把器件、模型和系统三层数字放在一起,CIM 的适用边界才清楚。

落地前还要回答模型映射问题:哪些层适合放进阵列,哪些必须留在数字域,稀疏索引如何表示,精度下降能否被任务接受。无法回答这些问题时,CIM 的能效数字仍然停留在器件论文层面。

把模型映射与外围开销同时纳入评审,是判断 CIM 是否值得进入下一阶段的必要门槛。

在真实任务中,还应比较同精度数字加速器的端到端能耗,而不是只比较阵列内乘加。外围控制和数据转换往往才是决定方案能否省电的部分,遗漏它们会高估收益。

如果论文只给出乘加能效,而没有说明数据搬运、ADC 和空闲功耗,这个数字不能直接用于产品决策。把它放回完整任务流水线,通常才会看到真正的瓶颈。

把这项比较做成固定评审表,能避免团队在器件论文和真实系统之间反复跳步。

只要外围账本没有闭合,就不能把峰值能效当作产品收益。

因此,CIM 的结论应是带条件的适用性判断,而不是脱离任务的无条件替代。

先把外围开销算清,再讨论能效上限,是更可靠的研究与工程顺序。

这也意味着任何 CIM 结论都要附带具体模型、阵列规模与外围假设,不能只给一个漂亮倍数。

解释图存算一体不是“把 MAC 移进阵列”就结束
  1. 01权重驻留阵列
  2. 02模拟 MAC交叉阵列
  3. 03ADC量化与噪声
  4. 04外围控制索引与同步
  5. 05有效能效整链路核算

模拟域阵列之后仍有 ADC、外围控制、索引和同步,稀疏收益取决于整条链。

证据清单

来源与适用范围

  1. 论文
  2. 论文
  3. 论文

限定条件:基于 CIMPool、神经形态综述与 2026 年低功耗 AI 综述的分析;不复述器件级数值。

本文遵循 CC BY-NC-SA 4.0

站点代码采用 MIT。所有模拟结果都标注了假设,不替代目标环境实测。

继续阅读归档