Frontier / 06 · EMBEDDED / EDGE

端侧小模型与 TinyML 部署边界

当权重、KV、激活和运行时都要塞进 MB 级预算，哪种优化真正决定可用性？

端侧模型是否可用，要同时看权重、KV、激活、运行时和热预算；参数量只是第一层过滤器。

解释图一个端侧 token 的内存旅程

权重、激活、KV 与运行时共同争用 SRAM，任何一个被忽略都可能让模型装不进去。

Research notes / 两篇结构

先建立模型，再用实验拆边界

01旗舰研究嵌入式经验2026年10月14日7 分钟

从 MobileLLM、Phi-3 与 AWQ 出发，拆解端侧模型的结构、量化、运行时与热预算。

端侧 AIMobileLLMPhi-3

02实验嵌入式经验2026年10月13日4 分钟

用一个可复算模型检查 4-bit 权重、激活和 KV 是否真的放得进目标 SRAM。

TinyMLSRAM量化

Instrument

默认 4-bit 权重方案需要约 953 KiB 仅存放 2M 参数，已经超过 512 KiB SRAM；端侧模型必须同时优化权重、激活和 KV。

参数量2 M模型权重规模

权重位宽4 bit4-bit / 8-bit 量化

激活缓冲96 KiB峰值激活占用

KV 缓冲64 KiB上下文缓存占用

Primary sources / 一手证据

Cross-domain synthesis

01综合研究综合研究2026年10月18日6 分钟

把 KV Cache、FlashAttention、端侧模型与存算一体放进同一张数据移动账本，理解 AI 系统的真正成本。

内存层级KV CacheFlashAttention