等效激活参数
11.75B总参数 × 激活专家比例Instrument / moe-routing
为什么稀疏激活不等于按比例减少部署成本？
稀疏激活降低每 token 的矩阵乘工作量，但全部专家仍可能需要常驻显存；路由越偏斜，热点专家越容易成为尾延迟来源。
回到 Sparse MoE 研究档案Interactive model / software simulation
MoE 路由与专家缓存
观察总参数、激活专家数和路由偏斜如何共同影响显存足迹与尾延迟。
稀疏激活带来的计算收益仍取决于专家放置、批大小与路由分布。
专家常驻比例
0.75缓存槽 ÷ 专家总数尾延迟放大
1.63×路由越偏斜，热点专家越集中EVIDENCE NOTE
路由与缓存近似模型；真实吞吐取决于批处理、专家并行和通信拓扑。
Primary reading