Research instruments / software-only
把论文里的结论,变成可以拨动的参数。
十个轻量模型覆盖 KV 容量、注意力 IO、推理预算、Agent 工具循环、MoE 路由、TinyML、RISC-V、Chiplet、稀疏计算与嵌入式密码学。 结果用于建立直觉,不伪装成硬件实测。
01
Paged KV
02KV 容量账本
改变层数、KV heads、上下文和并发数,观察显存从“每 token 字节”增长为整机容量约束。
Attention IO
03Attention Roofline
用序列长度、头数和加速器带宽估算注意力是计算受限还是显存带宽受限。
Test-time compute
04推理预算
把单次成功率、验证器准确率和采样成本放在一起,观察“多试几次”何时仍有收益。
MCP boundary
05Agent 工具循环
模拟多步工具调用在超时、重试与幂等条件下的成功率和副作用暴露。
Sparse MoE
06MoE 路由
观察总参数、激活专家数和路由偏斜如何共同影响显存足迹与尾延迟。
Edge SLM
07TinyML 预算
把权重、激活、KV 与运行时开销放在同一块 SRAM 预算中检查是否可部署。
RISC-V AI
08RISC-V Roofline
比较算力、带宽和算术强度,判断 RISC-V 推理负载被哪一侧约束。
Edge chiplets
09Chiplet 预算
检查 Die-to-Die 带宽、传输能耗和制造良率,理解模块化为边缘 SoC 带来的真实账本。
CIM / neuromorphic
10稀疏能耗
把稀疏度、CIM 效率与事件开销放在一起,观察能效优势何时被控制开销吃掉。
Trusted edge
可信嵌入预算
把后量子签名/验证周期、迭代次数和截止期放在一起,判断安全策略是否仍满足实时性。