子主题

前沿研究 · LLM / Agent

该子主题下有 10 篇笔记。

10 篇公开内容5 篇旗舰研究10 个可交互实验

旗舰研究LLM / Agent2026年10月14日7 分钟

分页式 KV Cache：把推理服务写成内存分配器

从 PagedAttention 的块表、共享与连续批处理出发，理解高并发推理为何首先是一场 KV 显存管理问题。

KV CachePagedAttentionvLLM

实验LLM / Agent2026年10月13日4 分钟

用可复算的字节公式估算长上下文服务容量，并解释分页的尾部浪费与容量边界。

KV Cache容量规划模拟

旗舰研究LLM / Agent2026年10月12日7 分钟

从 HBM/SRAM 层级解释 tiling、在线 softmax 与 FlashAttention-2/3 的并行和异步优化。

FlashAttention注意力机制GPU

实验LLM / Agent2026年10月11日3 分钟

用算术强度、峰值算力和 HBM 带宽判断注意力工作点，建立可复算的 Roofline 估算。

RooflineFlashAttention带宽

旗舰研究LLM / Agent2026年10月10日6 分钟

比较 best-of-N、长思维链与验证器选择，建立以“每个可靠答案成本”为核心的评价框架。

Test-time compute推理DeepSeek-R1

实验LLM / Agent2026年10月9日3 分钟

用独立采样模型评估候选数、验证器精度和单次成本，观察可靠性何时开始不划算。

Best-of-N推理预算验证器

旗舰研究LLM / Agent2026年10月8日7 分钟

从协议能力协商、权限与间接提示注入出发，设计 Agent 工具链的最小权限和可回滚边界。

MCPAgent安全

实验LLM / Agent2026年10月7日3 分钟

用链路成功率、幂等覆盖率和截止期预算分析多步工具调用，避免重复副作用。

Agent可靠性幂等

旗舰研究LLM / Agent2026年10月6日7 分钟

从 Mixtral 与 DeepSeekMoE 的路由机制出发，分析激活参数、专家放置与尾延迟的真实成本。

MoE稀疏模型专家路由

实验LLM / Agent2026年10月5日3 分钟

拨动专家数、top-k、总参数和路由偏斜，观察计算稀疏如何转化为缓存与尾延迟压力。

MoE路由缓存