Frontier / 05 · AI SYSTEM

稀疏 MoE：参数规模不等于计算规模

MoE 的“稀疏”到底省下了什么，又把成本转移到了哪里？

MoE 稀疏的是每 token 的计算，不是部署足迹；专家放置、通信与路由偏斜会重新制造尾延迟。

解释图稀疏路由留下了什么成本

专家激活降低矩阵乘工作量，但全部专家、缓存热点与通信仍构成部署成本。

Research notes / 两篇结构

先建立模型，再用实验拆边界

01旗舰研究LLM / Agent2026年10月6日7 分钟

从 Mixtral 与 DeepSeekMoE 的路由机制出发，分析激活参数、专家放置与尾延迟的真实成本。

MoE稀疏模型专家路由

02实验LLM / Agent2026年10月5日3 分钟

拨动专家数、top-k、总参数和路由偏斜，观察计算稀疏如何转化为缓存与尾延迟压力。

MoE路由缓存

Instrument

稀疏激活降低每 token 的矩阵乘工作量，但全部专家仍可能需要常驻显存；路由越偏斜，热点专家越容易成为尾延迟来源。

总参数量47 B模型总规模

专家总数8 每层可选专家数

每 token 激活2 top-k 路由

批内 token 数4096 一个批次处理的 token 数

Primary sources / 一手证据

Cross-domain synthesis

01综合研究综合研究2026年10月18日6 分钟

把 KV Cache、FlashAttention、端侧模型与存算一体放进同一张数据移动账本，理解 AI 系统的真正成本。

内存层级KV CacheFlashAttention