稀疏能耗实验：CIM 收益何时被控制开销吃掉

实验使用：

$$O_{\text{eff}} = O_{\text{dense}} \times (1-s)$$

其中 $s$ 是稀疏度。净吞吐再乘以 CIM 效率 $g$ 和事件开销后的保留比例：

$$Q_{\text{eff}} = O_{\text{eff}} \times g \times (1-h)$$

如果 $h$ 很高，$g$ 再大也可能被抵消。

观察点

• 稀疏度从 50% 提高到 90%，有效运算量下降，但索引和同步不一定等比下降。
• CIM 效率提升是三倍还是十倍，必须与数字基线在同一精度与工艺下比较。
• 事件驱动系统的空闲功耗与控制开销不能忽略。

打开 稀疏能耗实验 调整参数。这个模型适合用来问“收益来自哪里”，不适合给出芯片采购结论。

把开销拆开

稀疏计算的理论收益来自跳过零值乘加，但真实硬件需要知道哪些元素为零、如何压缩、如何路由非零块，以及如何把结果合并。常见开销包括：

• 压缩格式的元数据；
• 索引解码；
• 控制流分歧；
• 负载不均衡；
• ADC 与数字后处理；
• 不同稀疏度下的阵列利用率。

若稀疏度很高但非零元素分布随机，跨阵列的路由和调度成本可能超过跳过乘加节省的时间。结构化稀疏、2:4 稀疏或块稀疏更容易被硬件利用，但会限制模型结构。

用例子理解翻转点

假设稠密运算量为 100 个标准单位，稀疏度 75%，CIM 效率 3 倍，事件开销 18%。有效计算量为：

$$100 \times 0.25 = 25$$

再乘 3 倍效率并扣除 18% 开销，净有效吞吐约为：

$$25 \times 3 \times 0.82 = 61.5$$

相对于稠密基线仍有收益，但远低于“3 倍”。若事件开销升到 40%，净吞吐只有 45；若 CIM 的效率提升依赖更高电压或更低精度，实际收益还会被抵消。

精度与外围成本

CIM 的模拟域只完成部分运算，ADC 将模拟结果转回数字域。ADC 的采样率、分辨率和面积会随阵列规模变化。大阵列可以减少外围比例，却更容易受到寄生、噪声和良率影响；小阵列更灵活，但 ADC 和控制开销占比更高。

稀疏事件系统也有类似问题：事件数量少不等于总能耗低，事件编码、时间戳、路由和同步都可能固定开销。低占空比任务的优势来自长时间空闲，而不是某个峰值算子。

评价建议

1. 固定模型和精度，扫描不同稀疏度；
2. 将随机稀疏与结构化稀疏分开；
3. 记录事件生成、编码、路由和合并成本；
4. 用相同工艺节点的数字基线比较；
5. 报告峰值与平均功耗，不只报告 TOPS/W；
6. 把负载不均衡和尾延迟纳入实时分析。

结论

稀疏度是收益的必要条件，不是充分条件。只有当数据布局、硬件跳过机制和外围控制同时匹配时，CIM 与稀疏计算才会转化为端到端能效。实验给出的翻转点用于设计讨论，最终结论必须来自器件测量和完整模型评测。

模型公式的边界

实验把事件开销当成统一的百分比，但真实系统可能分为固定开销和随非零元素数量变化的开销。例如，阵列激活一次有固定驱动成本，而索引解码随非零块数量增长。若稀疏模式不规则，负载不均衡还会增加尾延迟。

因此，扫参时应记录：

• 稀疏是随机的还是结构化的；
• 每个 tile 的非零数量分布；
• 事件队列深度与路由冲突；
• ADC 采样次数和精度；
• 空闲时是否仍有时钟/漏电；
• 峰值与平均功耗。

如果只在平均稀疏度上得出收益，可能掩盖最坏 tile 的延迟。实时系统关心最坏情况，批处理系统关心总吞吐，两者需要不同指标。

对照实验

一个可信的对照应固定模型、数据集和精度，分别测 CPU、数字 NPU、CIM 模拟器和真实 CIM 板卡。若无法获得真实器件，至少要把模拟器的 ADC、阵列和路由模型写清楚。把模拟结果与论文 macro 数据混合，会破坏可比性。

结论

稀疏和存算一体的价值来自减少无效数据移动，但控制、精度和路由同样消耗资源。实验只用于寻找翻转点，最终判断必须基于端到端测量和明确的任务精度门槛。

报告时还应区分“理论跳过率”和“硬件实际跳过率”。结构化稀疏在编译期已知，硬件可以按块跳过；随机稀疏往往需要运行时判断和索引。二者在同一稀疏度下的收益可能完全不同。把这一区别写清楚，比继续提高一个抽象百分比更有价值。

如果要比较两种硬件，应要求对方提供相同模型、相同稀疏格式、相同精度和相同电源条件下的端到端数据。若无法提供，就把结论降级为“机制分析”，不要写成产品级能效优势。敏感度实验的价值在于提出正确的下一项测量，而不是替代测量本身。

模型的输入应来自真实层级的稀疏分布，而不是一个全局平均值。把每层的非零比例、tile 大小和索引格式导出，才能判断硬件是否能在最坏 tile 上保持收益。对实时任务，最坏 tile 的延迟比平均节省更关键。

因此，实验报告应同时给出平均与尾部的有效吞吐，并把稀疏格式与硬件跳过粒度写在一起。否则“稀疏度 90%”只是一个无法复现的输入描述。

对控制类任务，还要验证稀疏计算的最坏路径是否仍然满足截止期，而不只是平均能耗下降。