Instrument / tinyml-budget

一个参数量看似很小的模型,为什么仍然放不进 MCU?

默认 4-bit 权重方案需要约 953 KiB 仅存放 2M 参数,已经超过 512 KiB SRAM;端侧模型必须同时优化权重、激活和 KV。

回到 Edge SLM 研究档案

Interactive model / software simulation

TinyML SRAM 与量化预算

把权重、激活、KV 与运行时开销放在同一块 SRAM 预算中检查是否可部署。

LOCAL MODEL
模型权重规模
M
4-bit / 8-bit 量化
bit
峰值激活占用
KiB
上下文缓存占用
KiB
链接脚本可分配容量
KiB
栈、对齐与 DMA 余量
%
当前配置超出 SRAM 约 709.9 KiB;需要更低量化、更小 KV 或外部存储。

权重存储

976.6KiB参数量 × 位宽 ÷ 8

总占用

1,136.6KiB权重 + 激活 + KV

可用 SRAM

426.7KiB已扣除运行时余量
EVIDENCE NOTE

静态容量模型;实际可用 SRAM 会受链接脚本、栈和 DMA 缓冲区影响。

Primary reading

先读原始来源,再相信模型