旗舰研究LLM / Agent2026年10月14日7 分钟分页式 KV Cache：把推理服务写成内存分配器从 PagedAttention 的块表、共享与连续批处理出发，理解高并发推理为何首先是一场 KV 显存管理问题。KV CachePagedAttentionvLLM阅读
实验LLM / Agent2026年10月13日4 分钟KV Cache 预算：并发、上下文与块大小用可复算的字节公式估算长上下文服务容量，并解释分页的尾部浪费与容量边界。KV Cache容量规划模拟阅读
旗舰研究LLM / Agent2026年10月12日7 分钟FlashAttention：把注意力从公式写成数据流从 HBM/SRAM 层级解释 tiling、在线 softmax 与 FlashAttention-2/3 的并行和异步优化。FlashAttention注意力机制GPU阅读
实验LLM / Agent2026年10月11日3 分钟注意力带宽账本：何时算力不是瓶颈用算术强度、峰值算力和 HBM 带宽判断注意力工作点，建立可复算的 Roofline 估算。RooflineFlashAttention带宽阅读
旗舰研究LLM / Agent2026年10月10日6 分钟推理时计算：多想一会儿到底值不值比较 best-of-N、长思维链与验证器选择，建立以“每个可靠答案成本”为核心的评价框架。Test-time compute推理DeepSeek-R1阅读
实验LLM / Agent2026年10月9日3 分钟推理预算实验：Best-of-N 的收益与拐点用独立采样模型评估候选数、验证器精度和单次成本，观察可靠性何时开始不划算。Best-of-N推理预算验证器阅读
旗舰研究LLM / Agent2026年10月8日7 分钟MCP 的信任边界：工具互通之后，谁来负责安全从协议能力协商、权限与间接提示注入出发，设计 Agent 工具链的最小权限和可回滚边界。MCPAgent安全阅读
旗舰研究LLM / Agent2026年10月6日7 分钟稀疏 MoE：参数规模不等于计算规模从 Mixtral 与 DeepSeekMoE 的路由机制出发，分析激活参数、专家放置与尾延迟的真实成本。MoE稀疏模型专家路由阅读
笔记LLM / Agent2026年9月2日1 分钟KV Cache 为什么能加速推理？一个自注意力视角从 Transformer 自注意力公式推导 KV Cache 的保存对象与显存权衡。LLM推理优化Transformer阅读