边缘 AI Chiplet:把面积问题拆成互连问题

从模块化 RISC-V SoC、UCIe 与封装约束出发,分析 Chiplet 对边缘 AI 的收益和真实成本。

展开文章目录

单片 SoC 在先进节点上面积越大,良率越低;Chiplet 把大芯片拆成可复用的小 die,再通过先进封装组合。对边缘 AI,这带来灵活的产品组合,但也把“片内通信”变成“跨 die 通信”。

账本

考虑一个加速器需要每 token 跨 die 传输 BB 字节,互连带宽 WW,每字节能耗 ee:

Ttransfer=B/W,Etransfer=B×eT_{\text{transfer}} = B / W, \qquad E_{\text{transfer}} = B \times e

如果数据不能留在本地,计算峰值再高也会被互连等待吞掉。

UCIe 与模块化

UCIe 定义了 die-to-die 的物理与协议层,目标是降低集成门槛。论文中的模块化 RISC-V SoC 把 CPU、AI 加速器与 HBM 等放在同一封装内,并加入 DVFS、压缩感知传输和安全能力。

这些设计说明 Chiplet 的价值在系统级:你可以复用成熟 IP,用不同组合覆盖不同产品,但必须同时设计互连、电源、热和测试。

适用边界

  • 多个产品共享同一计算 die,规模足够大;
  • 单 die 面积导致良率成本过高;
  • 跨 die 数据流可被清楚分区;
  • 封装与供应链能力成熟;
  • 软件能把通信与计算流水化。

打开 Chiplet 带宽账本 调整传输量和互连带宽。先判断互连是否可接受,再讨论模块化带来的产品收益。

面积收益不是免费午餐

把一个大 die 拆成多个小 die,可以降低单个 die 的面积,从而改善制造良率。粗略地说,缺陷密度固定时,die 面积越大,包含至少一个缺陷的概率越高。Chiplet 让计算、存储、I/O 或模拟电路使用不同工艺和不同面积的 die,也让同一计算 die 能在多个产品中复用。

但收益要被三组成本抵扣:

  • 互连成本:PHY、SerDes、lane 数、时钟、协议开销和封装布线;
  • 系统成本:电源完整性、热耦合、测试、良率叠加和供应链;
  • 软件成本:跨 die 数据分区、地址映射、一致性、性能分析和故障恢复。

这就是为什么“把 SoC 拆小”不是自动优化。对一个低成本、低带宽的 MCU,封装和互连可能比单片集成更贵;对一个需要多档算力、复用成熟 IP 的高端边缘平台,模块化才可能有规模收益。

UCIe 解决标准化,不解决分区

UCIe 定义了 die-to-die 的物理层、die-to-die adapter 和协议层,目标是让不同来源的 chiplet 更容易组合。标准让 PHY 和链路训练不必每家公司重新发明,但当数据跨过 die 边界,系统仍然要决定:

  1. 哪些数据放在哪个 die;
  2. 是否需要保持缓存一致;
  3. 一个计算任务如何切分到多个 die;
  4. 延迟抖动和带宽拥塞如何观测;
  5. 某个 die 失效时如何降级。

协议层的带宽不是应用层有效带宽。打包、流控、重传、lane 利用率、时钟域转换和协议头都会降低有效吞吐。产品验收必须测端到端 token 延迟,而不是只看 UCIe PHY 的峰值速率。

数据分区决定成败

一个合理的 Chiplet 平台会把高复用数据留在本地:计算 die 内部保留权重缓存和激活 tile,存储 die 提供高带宽池,I/O die 处理传感器和网络。跨 die 的数据尽量是可流水、可预取的大块传输。

反过来,如果每一层 attention 都要把完整 KV 送到另一个 die,或每个 token 都在 CPU、NPU 和 HBM 之间往返,互连就会成为串行瓶颈。数据量乘以每字节传输能耗后,还可能超过本地计算节省的能量。

可以用一个简化的量级比较:

Tcompute=OpTOPS×u,Tlink=BWT_{\text{compute}} = \frac{\text{Op}}{\text{TOPS} \times u}, \qquad T_{\text{link}} = \frac{B}{W}

uu 是有效利用率。若 TlinkT_{\text{link}} 与 TcomputeT_{\text{compute}} 同量级,跨 die 通信就无法完全藏在计算后面。边缘设备常常没有足够大的 batch 来填满链路,因此尾延迟比数据中心更敏感。

能耗与热是硬约束

每传输一个 bit 都有能量成本,长距离 PHY 和 SerDes 还会增加静态功耗。把互连能耗与计算能耗相加,才能得到系统账本。某些设计中,互连节省的片外 DRAM 访问换来更高能效;另一些设计中,跨 die 往返反而比本地 SRAM 更贵。

热耦合也不能忽略。多个 die 封装在一起后,热点可能共享散热路径;一个 die 的峰值功耗会改变另一个 die 的可用频率。对电池供电设备,瞬时功率、平均功率和待机漏电都要分别测量。

测试与可信供应链

Chiplet 需要 known-good-die 测试。每个小 die 在封装前都要验证,封装后还要做系统级测试。任一 die 或互连的缺陷都可能导致整包报废,良率收益必须扣除测试与返修成本。

供应链也改变威胁模型:计算 die、存储 die、PHY IP 和封测可能来自不同组织。固件签名、密钥注入、调试接口和生命周期管理必须覆盖整个包,而不是只覆盖主 SoC。

适用性判断

Chiplet 更适合满足以下条件的项目:

  • 有多个产品共享同一计算模块,能摊薄设计和验证成本;
  • 单 die 面积或良率压力足够大;
  • 数据流能按 die 进行清晰分区;
  • 目标互连带宽和能耗在预算内;
  • 团队具备封装、热、测试和跨 die 软件能力。

如果只有一个低产量产品、数据高度耦合、功耗预算极紧,单片 SoC 往往更简单。Chiplet 是系统架构选择,不是先进封装的同义词。

结论

边缘 AI Chiplet 的第一张表应该同时列出计算、互连、封装和热成本。第二张表才讨论产品复用和上市速度。只在“面积更小”或“UCIe 峰值更高”上做决定,会把复杂度转移给后期集成。

真正有价值的模块化平台,应该让计算、存储和 I/O 的边界与数据流一致,并能在没有理想互连的情况下优雅降级。先证明跨 die 路径可被隐藏,再证明它能带来商业复用。

良率与成本的组合账

假设单片 die 面积是 AA,缺陷密度为 DD,简单泊松良率近似为 Y=e−ADY=e^{-AD}。把面积分成多个 die 后,每个 die 的良率提高,但封装内所有 die 都必须合格,系统良率是各 die 良率与封装良率的乘积。若没有 known-good-die 测试,整体良率不一定改善。

成本还需要加入:

  • 多个 die 的晶圆与测试成本;
  • 先进封装、基板和 interposer;
  • PHY/SerDes 面积;
  • 封装后的热与可靠性测试;
  • 失效分析和返修;
  • 跨供应商的物流与库存。

Chiplet 的商业模式依赖规模。只有同一计算 die 被多个产品复用,或单 die 面积造成的良率损失足够大,拆分才可能抵消固定成本。

电源完整性与热耦合

跨 die 通信需要驱动器和接收器,开关电流会在封装内形成电源噪声。多个 die 共享电源平面时,一个计算 die 的负载突变可能影响另一个 die 的时钟和模拟电路。设计需要去耦、相位裕量和 DVFS 协同,不能只验证逻辑功能。

热方面,计算 die 与 HBM/存储 die 的功率密度不同,热点可能集中在封装一角。散热路径、封装材料和环境温度共同决定可持续频率。边缘设备的密闭外壳和电池温度限制,往往比数据中心更严格。

分区模板

一个可操作的 Chiplet 设计流程可以从数据流图开始:

  1. 标记所有权重、激活、输入输出和中间张量;
  2. 估算每类数据的大小、复用次数和生命周期;
  3. 把高复用、低延迟数据放在同一 die;
  4. 把可流式、可压缩的数据放到跨 die 路径;
  5. 为每条跨 die 路径设定带宽、延迟和能耗上限;
  6. 模拟 die 失效或链路降速时的降级模式;
  7. 用真实模型 trace 验证分区,而不是只看合成矩阵。

这个流程把“封装选择”延后到数据流分析之后。若数据流无法分区,UCIe 再先进也无法提供收益。

安全与可信启动

多供应商 chiplet 增加供应链攻击面。每个 die 的固件、PHY 配置和测试接口都可能成为入口。系统需要验证每个 die 的身份与固件完整性,限制调试访问,并在封装后更新信任根。

跨 die 总线也可能泄露数据。若计算 die 与不可信 I/O die 共享地址空间,需要 IOMMU、访问控制和加密。安全启动链应覆盖所有可编程组件,而不仅是主 CPU。

什么时候不该用 Chiplet

  • 产品量小,无法分摊设计和封装成本;
  • 数据流高度耦合,跨 die 同步不可避免;
  • 功耗预算无法容纳 PHY 和 SerDes;
  • 团队没有封装、热和测试经验;
  • 供应链无法保证 die 的可获得性和追溯;
  • 单片 SoC 已能满足性能与成本目标。

在这些情况下,使用先进封装只是把复杂度从晶圆转移到封装和软件,并不会自动产生竞争优势。

最终判断

Chiplet 的价值需要同时满足技术可行和商业可行。技术上,先证明数据分区、带宽和热都成立;商业上,再证明模块复用、良率和供应链能摊薄成本。只展示一个互连带宽数字,无法回答是否应该采用。

在架构评审中,建议把单片方案与 Chiplet 方案并排比较:同样列出面积、良率、互连能耗、封装成本、最大批量和软件工作量。若 Chiplet 只在理论良率上更优,却在互连和测试上增加不可控风险,就应推迟到下一平台,而不是为先进封装本身寻找理由。

最后,记录每个 die 的接口契约和故障模式。模块化只有在边界清晰、可测试、可替换时才成立;否则只是把单片 SoC 的复杂度包装成多个封装组件。

如果要评估一个边缘 AI Chiplet 方案,可以要求供应商提供三张表:每瓦有效算力、每 token 或每帧的跨 die 字节数、以及不同负载下的封装温度与功耗。缺少任何一项,模块化优势都可能只是纸面面积复用。还应明确固件升级、故障隔离和供应链替换策略,否则一个 die 缺货就可能让整块板无法维护。

最终方案应同时报告互连利用率、跨 die 能耗、封装良率、最坏温度和软件可移植性。任何一项没有进入预算,Chiplet 的模块化都可能只是把单片问题拆成更难调试的多片问题。

这些验收项应和芯片选型同步完成,而不是等原型板回来再补。

如果跨 die 带宽或封装功耗无法在早期模型中得到可信范围,方案应标记为高风险原型。模块化的价值只有在接口稳定、功耗可预测和软件可维护时才能兑现,不能只看理论面积节省。

评审时还应把测试、调试和量产良率成本纳入比较。拆分后的每个 die 都需要测试探针、封装步骤和失效定位流程,这些固定成本会显著影响小批量边缘产品的经济性。芯片越小并不自动越便宜,模块化也不自动更易维护。

因此,边缘 Chiplet 的结论必须落在完整产品成本、最坏功耗和可维护性上,而不是仅凭互连带宽或面积复用判断先进与否。

把原型阶段和量产阶段的假设分开记录,可以避免实验室数据被误当成可交付能力。

只有把工程样片、量产良率和长期供货风险一起纳入决策,模块化 AI SoC 才算真正完成评估。

请把这一整条成本链写进选型报告。

解释图Chiplet 把复杂度推到了互连
  1. 01计算 DieAI 加速
  2. 02UCIeD2D 链路
  3. 03存储 Die高带宽内存
  4. 04封装良率与热
  5. 05边缘系统功耗预算

模块化复用的收益必须扣除 D2D 带宽、传输能耗、封装与热设计成本。

证据清单

来源与适用范围

  1. 论文
  2. 规范
  3. 规范
  4. 规范

限定条件:基于模块化 RISC-V Chiplet 论文与 UCIe 规范的工程分析;不复述论文中的绝对值性能。

本文遵循 CC BY-NC-SA 4.0

站点代码采用 MIT。所有模拟结果都标注了假设,不替代目标环境实测。

继续阅读归档