#稀疏模型

稀疏 MoE：参数规模不等于计算规模

从 Mixtral 与 DeepSeekMoE 的路由机制出发，分析激活参数、专家放置与尾延迟的真实成本。