基于客户 6 页原始测试报告(49,152 Prefix Cache + 1,024 Queries 并发 + Top-2048 稀疏选块 + FlashMLA + MoE + 16步自回归 Decode)在真实物理 TPU v7x 上的实测 Xprof/Perfetto 追踪对比。
实测时延: 18.91 ms
OFFLOAD_GATHER 10.2ms 阻塞 HBM
实测时延: 4.72 ms
粗页面导致 Needle 召回跌至 6.97%
实测时延: 8.36 ms
TC Gather 阻塞 ~0.00ms (全掩盖)
原生 Xprof 会话,含完整 TPU HLO 与 Memory 分析
| XLA HLO 算子 / 剖析项 | 优化前 Baseline 耗时 | 优化后 Optimized 耗时 | 变化幅度 / 差异 | 硬件根因剖析与行为差异 |
|---|---|---|---|---|
| OFFLOAD_GATHER | 102.24 ms | 9.59 ms | -90.6% (10.66x 骤减) | 优化前 209 万次随机离散访存全部打飞 HBM 总线事务;优化后收敛为 32 个物理 Page 的紧凑连续 DMA Burst,彻底消除了总线非规整重试与挂起。 |
| gather_offload_custom_fusion | 213.53 ms | 147.52 ms | -30.9% (缩减 66 ms) | Custom Fusion 内部的搬运等待开销被大幅削减,计算核心不再因为等候内存流水线而产生巨大的等待气泡 (Pipeline Bubble)。 |
| sort / top-k 排序粗筛 | 41.00 ms | < 4.00 ms | > 10x 性能提升 | 优化前需对 49,152 个离散 Token 进行大尺度并行 Radix 排序;优化后先在 Page 级别聚合成 768 个页面粗筛,排序规模降低 64 倍,直接以 Bitcast Select 向量化融合执行。 |
| jit_e2e_step 纯核计算 | 103.51 ms | 9.59 ms | 10.79x 加速 | Prefill 投影、FlashMLA 压缩注意力、MoE 路由与 16 步自回归自循环的总计算图耗时。由于去除了离散依赖停顿,XLA 编译器能够激进展开循环并最大化向量流水线。 |
在打开的 Perfetto UI 中,按下键盘快捷键 / 呼出搜索栏,输入以下关键算子名称,即可直接定位到其他核心优化:
sort.1
缩减 273 倍
• Baseline:输入 sort.1 会跳转到一个跨核长达 13.67 ms 的巨大紫色条块(需在 49,152 长度上并行做 Radix 排序)。
• Optimized:同样的 sort.1 耗时骤降至 0.05 ms(候选集缩小为 768 个 Page),并融合为轻量的 bitcast_select_fusion (1.33 ms)。
while
提速 10.2 倍
• Baseline:16 步自回归自循环的总耗时为 1.22 ms/次,时间轴上能看到 16 个被内存拖延的明显空隙。
• Optimized:整个 16 步 while 循环压缩至 0.12 ms/次,由于每步单 Page 索引极小,自循环完全跑在片上缓存中。
ReadSyncFlag
等待削减 6 倍
• Baseline:每次单步同步 ReadSyncFlag 耗费 0.45 ms,说明 CPU 主机在长周期等候 TPU 设备就绪,队列产生等待停顿。
• Optimized:该项等待缩减至 0.07 ms,下发流水线完全被打通,主机与 TPU 之间零气泡无缝衔接。
• 框选一个完整 Iteration 观察下方 Slices Summary:
• Baseline 中 gather_offload_custom_fusion 占满 >80% 视野,TensorCore 大面积饥饿;
• Optimized 中 Dense 计算算子(dot, fusion, matmul)占主导,硬件真正从 Memory-Bound 翻转为 Compute-Bound。
深入解决前序优化的两大核心瓶颈:① 粗粒度 64-Page 导致的召回率稀释;② TensorCore 仍需等待 9.59ms Gather 导致的计算停顿。
用户首度指出:“页面粗粒度粗筛虽然搬运快,但把 64 个 Token 平均成一个向量,必然会发生语义稀释(Dilution)”。实测证实,朴素 64-Page 的 Needle 命中率从 100% 暴跌至 7.8%!
虽然连续页搬运将底层耗时降到 9.59ms,但 TensorCore(TC)在等待期间完全闲置停机。TPU v7x 独有的 SparseCore (SC) 协处理器彻底改写了这一格局:
jax.experimental.pallas.tpu_sc 算子,由 SparseCore 自主向 HBM 发射连续异步拷贝指令(pltpu.make_async_copy)。
_delta_swap 位重排,信号量无缝对齐。