↓ 跳过正文

Z-Cache 的系统账本:一个特征缓存近似,在显存、带宽与首帧延迟上意味着什么

·5390 字·11 分钟
作者
Yiwen Cai
北邮计算机硕士在读(ParCIS 实验室)。聚焦算法与硬件之间——CUDA/Triton 高性能算子、大模型训推系统与 Algorithm–Infra Co-design。

本文是对 Z-Cache: Accelerating Diffusion Transformers via Self-Reflection 的系统视角解读。我关心的不是「它为什么更准」,而是「这个近似放进推理系统后意味着什么」:要多少显存、吃多少带宽、会不会拖慢首帧。

数据口径:[论文] 为原文报告的数字;[实测] 为在单卡 NVIDIA H100 PCIe(80 GB)设备条件下、用随机权重的 Wan2.1 结构测得,只测耗时与显存,不评估画质;[估算] 为按公式口算。

先给三个数字:

  • 同样的峰值误差,窗口跨度 N 可以从 6 拉到 10。 50 步采样的全量步从 9~10 个降到 6~7 个。[估算]
  • Wan2.1-14B 720p 视频,逐块缓存要约 93 GB,根残差嫁接只要约 2.3 GB。 [估算 + 实测]
  • 一次重放约 2 ms,一次全量步约 19 s。 [实测]

所以结论很直接:Z-Cache 的代价不在算力,而在显存布局和时序约束。下面一笔一笔算。

一、开环特征缓存为什么会漂移
#

DiT 推理的主要成本是每个去噪步都要跑一遍完整的 Transformer。特征缓存的思路是:相邻步的中间特征很像,那就每隔 N 步跑一次全量步(下文记作 FULL),中间的步用历史特征外推出来。FORA — 2024 直接复用,TaylorSeer — 2025 用有限差分做泰勒外推,都属于这一类「开环」方法:只看过去,不看未来。

在一个缓存窗口 \([a, b]\) 里,误差有两个来源,必须分开看:

  1. 预测器截断误差:用多项式外推特征带来的误差,离左锚点 \(a\) 越远越大。
  2. 潜变量漂移 \(\delta\):用不准的特征推进采样器,潜变量 \(\bar x_i\) 一步步偏离真值,并且逐步累积。

到右锚点 \(b\),全量步用真实网络权重计算,第 1 部分直接清零,只剩第 2 部分经过网络放大后的残差。所以逐层特征误差呈锯齿形:窗口内攀升,到 FULL 断崖下降。[论文 Fig.2]

问题在于开环方法接下来会直接提交 \(\bar x_{b+1}\),于是第 2 部分的漂移被永久带进后续轨迹,每个窗口的「地板」都比上一个高一点。

开环缓存的锯齿误差与 Z-Cache 收紧后的底噪对比(示意)

二、Z-Cache 一页讲清:探路、融合、重放
#

Z-Cache 的想法是:既然 FULL 在 \(b\) 处拿到了「未来的真值」\(H_b\),那就把它带回窗口内部,重新算一遍。

  1. Stage 1 探路:照常开环跑到 \(b\),把这段潜变量轨迹当作临时探测,拿到右锚点特征 \(H_b\)。
  2. Stage 2 融合:左锚点预测器 \(B^p\) 往前外推,右锚点扩展状态 \(B^f\) 往回推,两者按窗口进度做凸组合:
$$\tilde H_i = (1 - w_i)\,C(B^p, i) + w_i\,C(B^f, i),\qquad w_i = \frac{i - a}{b - a}$$

权重只和位置有关,不需要任何超参。论文在 FLUX.1-dev、N=6 下对比了四种融合规则,SSIM 的极差只有 0.0014,线性权重就够了。[论文]

  1. Stage 3 重放:丢掉探路得到的临时潜变量,从精确起点 \(x_{a+1}\) 出发,在 \(i \in [a+1, b]\) 共 \(N\) 步上(含 \(i=b\) 复用 \(H_b\) 更新终点)重新推进采样器,提交 \(\tilde x_{b+1}\)。

这里有一个容易忽略的反事实:如果关掉重放,只算校准特征,收益是零。 采样器只通过潜变量把特征的作用传到最终输出,校准后的 \(\tilde H_i\) 没进入任何一次采样器更新,提交的 \(\bar x_{b+1}\) 和 TaylorSeer 逐比特相同。特征校准只是「算出了正确答案」,重放才是「把答案交上去」。

三、误差形状:为什么窗口能拉长
#

假设特征轨迹的曲率 \(H''\) 在窗口内近似不变,记 \(d_L = i - a\)、\(d_R = b - i\)。两种方法的误差幅值形状(只给结论,不展开推导):

方法缓存步误差幅值峰值位置
开环外推(TaylorSeer K=1,理想切线斜率)(\tfrac12,d_L^2,H''
Z-Cache 双锚点插值(K=0,或 K=1 等宽割线底座)(\tfrac12,d_L,d_R,H''

开环相当于「只拽住一头」,误差在尾部最大;插值「两头都拽住」,误差只在中间鼓起来。

于是可以问一个系统问题:要求峰值误差不变,窗口能拉多长?

  • 基线开环 N=6:峰值在 \(d_L = 5\),为 \(\tfrac12 \times 25 = 12.5\)(以 \(|H''|\) 为单位)。
  • Z-Cache:\(N^2/8 \le 12.5\),N=10 时正好 12.5,N=11 时 \(\tfrac12 \times 5 \times 6 = 15\) 超标。

所以 N 可以从 6 放到 10。计入第六节将讲到的闭合右端锚点与预热步,50 步采样的全量步从 9~10 个降到 6~7 个(如 K=0 取 \(\{0,10,20,30,40,49\}\) 共 6 步,K=1 含预热步共 7 步)。按下文实测的 18.97 s/step,总耗时从约 171~190 s 降到约 114~133 s。[估算]

开环 N=6 与 Z-Cache N=10 的误差形状:两者峰值同为 12.5

另一个角度是同样 N=6 下窗口内误差的总和:理想切线开环 \(\sum \tfrac12 d_L^2 = 27.5\),双锚点插值 \(\sum \tfrac12 d_L d_R = 17.5\),约降 36%。论文用 768 条同起点轨迹做局部对照,N=6 时窗口相对 L2 误差的 AUC 降低 29.6%。[论文] 两者量级吻合,但要注意底座斜率前提:若左端真有精确切线斜率 \(D_a^1 = H'_a\),下文第四节的 K=1 预合并式会把二次误差完全抵消;真实 TaylorSeer 用的是上一等宽窗口的割线斜率,此时 Z-Cache K=1 的残差幅值退回 \(\tfrac12 d_L d_R |H''|\),而开环割线外推误差会放大到 \(\tfrac12 d_L(N+d_L)|H''|\),比上表给开环假设的理想切线基线更严苛。

这个结论依赖两个前提,N 拉得越大越容易失效:

  • 曲率近似不变:窗口越长,二阶近似之外的高阶项增长越快。
  • 右锚点小位移:\(H_b\) 是在漂移后的潜变量 \(\bar x_b\) 上算出来的。窗口越长,探路漂移越大,用来校准的「标准答案」本身就越不准。

四、显存账
#

两份状态必须同时留在显存里
#

开环方法到了 \(b\) 就可以扔掉 \(B^p\)。Z-Cache 不行:重放区间里每一步都要同时用到 \(B^p\) 和 \(B^f\)。以 K 阶 TaylorSeer 为底座,每份状态有 \(K+1\) 个张量,朴素实现每个缓存站点要存 \(2(K+1)\) 份。

但 \(B^f\) 里的每个差分系数都能由 \(B^p\) 和新观测 \(H_b\) 推出来,比如 \(D_b^1 = (H_b - H_a)/N\),并没有带来新信息。所以:

每站点最少需要 \(K+2\) 份:\(B^p\) 的 \(K+1\) 份,加上 \(H_b\) 这 1 份。

换个角度也能得到同样的数:\(w_i\) 关于 \(i\) 是线性的,所以 \(\tilde H_i\) 是关于步位移的 \(K+1\) 次多项式,恰好需要 \(K+2\) 个系数。以 K=1 为例,可以预合并为:

$$\tilde H_i = H_a + d_L\,D_a^1 + d_L^2\,D_b^2,\qquad D_b^2 = \frac{D_b^1 - D_a^1}{N}$$

只存 \(H_a\)、\(D_a^1\)、\(D_b^2\) 三份,重放时每步只剩一次融合乘加。朴素实现比最少份数多出 \(K\) 份,阶数越高越浪费。

缓存显存公式
#

把上面的乘法写成一条公式:

$$\text{Mem}_{\text{cache/GPU}} \approx \frac{S \times (K+2) \times L \times D \times \text{bytes} \times c_{\text{cfg}}}{P_{\text{sp}}}$$

其中 \(S\) 是缓存站点数,\(L\) 是 token 数,\(D\) 是隐藏维度,\(c_{\text{cfg}}\) 是 CFG 批倍数(1 或 2),\(P_{\text{sp}}\) 是序列并行度。融合与重放都是逐元素运算,每张卡只需存自己那 \(1/P\) 的 token 切片,不引入通信;但 Ulysses / Ring 下权重在每张卡上完整复制,不随 \(P\) 下降。

公式里唯一能在 1 和几十之间跳变的是站点数 \(S\):

  • 逐块后端:每个 Transformer block 设站点,\(S\) 约等于层数(Wan2.1-14B 为 40;论文的 FLUX 实现约 95 个块内站点)。
  • 根残差嫁接(Root-residual graft):只缓存整个 DiT 顶层的根残差,\(S = 1\),重放时完全旁路所有 block。

为什么论文里图像模型逐块也能跑,到视频上就不行?因为单份大小差了一个数量级:

场景\(L\)\(D\)单份(BF16)
FLUX 1024²约 4,6083072约 28 MB
Wan2.1-14B 720p·81 帧75,6005120约 0.77 GB

视频上要几张卡
#

以 Wan2.1-14B 720p、K=1 为例。实测单次前向峰值 37.3 GB,其中权重 28.6 GB、激活约 8.7 GB [实测];按十进制 GB 保守计,单卡 H100-80GB 留给缓存的预算约 \(80 - 28.6 - 8.7 \approx 42.7\) GB(H100 标称 80 GiB 约合 85.9 GB,且激活随 SP 也会下降,实际余量更宽裕,下表 SP 档位不变):

方案缓存总量不开 CFG 所需 SP开 CFG 所需 SP
graft,BF162.3 GB11
逐块 40 站点,BF1692.9 GB48
逐块 40 站点,全 FP8 下界46.4 GB24

结论:视频高分辨率场景必须用 graft。逐块方案为了装下缓存就要多拿 4~8 倍的卡。

要不要把缓存存成 FP8
#

  • graft 下不值得:就算 3 份全存 FP8 也只省 1.16 GB;重放访存里只有读系数那部分减半,每步从约 2.16 ms 降到约 1.5 ms,N=6 每窗口省约 4 ms,占 19 s 全量步约 0.02%。优化一个本来就可以忽略的部分,没有意义(Amdahl)。
  • 逐块下有用:能把所需 SP 从 4 降到 2(开 CFG 从 8 降到 4)。
  • 只量化差分项,保留 BF16 基底:真做混合精度时应按 \(2+1+1\) 字节存储(逐块 40 站点约 61.9 GB,所需 SP 仍为 2 和 4;graft 省约 0.77 GB)。原因是量化误差的大小跟着被量化张量本身的幅值走:E4M3 只有 3 位尾数,单元素相对舍入误差可达约 6%。满幅值的 \(H_a\) 量化后,误差会原样加到每个 \(\tilde H_i\) 上,比 Z-Cache 要纠正的窗口误差还大;\(D_a^1\)、\(D_b^2\) 幅值小,同样的相对误差换算成绝对误差很小。这和 KV / 激活量化里「保留 base、量化 delta」是同一个道理。

五、时间账:Roofline 视角
#

graft 后端的一个重放步只做三件事:用预合并系数融合出 \(\tilde H_i\);过输出头(AdaLN 调制的 LayerNorm、线性投影到 patch 通道、unpatchify);采样器逐元素更新潜变量。

融合部分每个元素约 5 次浮点运算,却要搬 8~10 字节,算术强度不到 1 FLOP/B。H100 的脊点在几百 FLOP/B,差了两个多数量级,所以这是纯带宽受限的运算:耗时 ≈ 访存字节数 ÷ HBM 带宽。输出头的 GEMM 约 50 GFLOP,潜变量本身约 10 MB,都可以忽略。

实测(H100 PCIe,2 GiB 拷贝标定的带宽为 1.86 TB/s):

实现每步访存实测访存 ÷ 带宽
eager中间张量多12.24 ms—
torch.compile读 3 份系数 + 写读 1 份归一化激活 ≈ 3.87 GB2.16 ms2.08 ms
理论全融合只读 3 份系数 ≈ 2.32 GB未实现1.25 ms

torch.compile 把融合和调制的 LayerNorm 合成了一个 kernel,将归一化输出写回显存供投影 GEMM 读取,实测与「3.87 GB ÷ 带宽」的模型几乎完全吻合。它到不了 1.25 ms 的下界,是因为 LayerNorm 需要先沿 \(D=5120\) 完整归约均值与方差,难以直接塞进投影 GEMM 沿 \(D\) 分块的 prologue 里。不过下面会看到,手写这个融合 kernel 并不值得。

再看全量步(同一张卡,随机权重,720p·81 帧)[实测]:

模型计算量(估算)全量步折算算力
Wan2.1-14B6.84 PFLOP18.97 s361 TFLOPS(约峰值 48%)
Wan2.1-1.3B1.27 PFLOP3.77 s336 TFLOPS

(表中计算量按 \(2 N_{\text{param}} L + 4 L^2 D n_{\text{layer}}\) 近似估算;扣除只作用在 512 个文本 token 上的 Cross-Attention K/V 权重后,14B 精确前向约 6.52 PFLOP、折算约 344 TFLOPS。)

于是 N=6 的一个窗口里,重放 6 步约 13 ms,全量步约 19 s,重放只占约 0.07%;就算用最朴素的 eager 实现,也只占约 0.4%。这和论文报告的「算术 FLOPs 增幅低于 0.2%」是一致的。[论文] Z-Cache 在时间上几乎不花钱。

论文里 graft 比逐块后端快约 20%、峰值显存少约 4%(FLUX.1-dev、TaylorSeer、N=6)[论文]。这部分差距来自逐块后端在几十个块内站点上的 hook 与读写开销,而不是算力。

六、时序账:首帧延迟与闭合约束
#

常规逐 chunk 生成:基本不受影响
#

Z-Cache 要等右锚点 \(b\) 的全量步完成,才能回滚重放、提交 \(\tilde x_{b+1}\)。这听起来会拖慢首帧,但一个 chunk 去噪过程中的中间潜变量本来就不对外交付,只有最后的 \(x_S\) 会送进 VAE。所以常规场景下,回滚只多出毫秒级的重放时间,首帧延迟(TTFF)基本不变。

少步场景:闭合约束迫使你多跑全量步
#

真正的代价在步数安排上:每个被校准窗口的右端都必须是 FULL,最后一步也必须是 FULL,否则尾部缓存步后面没有右锚点,只能退化为开环。步数多的时候这不算什么,但在 4~8 NFE 的蒸馏流式模型里,全量步的个数直接决定单 chunk 延迟:

NFE方案FULL 集合校准缓存步单 chunk 延迟
4不加速{0,1,2,3}—\(4\,t_{\text{full}}\)
4开环{0,2}0\(2\,t_{\text{full}}\)
4Z-Cache K=0{0,2,3}1\(3\,t_{\text{full}}\)
4Z-Cache K≥1{0,1,3}1\(3\,t_{\text{full}}\)
8Z-Cache N=2{0,2,4,6,7}3\(5\,t_{\text{full}}\)
8Z-Cache N=3{0,3,6,7}4\(4\,t_{\text{full}}\)

(4 NFE 中 K≥1 的底座需要两个连续 FULL 才能构造出第一个差分斜率,所以是 {0,1,3};表中 8 NFE 两行以 K=0 为例。)

几点观察:

  • 4 NFE 下,Z-Cache 比激进的开环多 1 个全量步,TTFF 多 50%,换来的是画质。
  • 8 NFE 下,N=3 比 N=2 少 1 个全量步,但窗口内峰值误差从 \(\tfrac12 \cdot 1 \cdot 1\) 变成 \(\tfrac12 \cdot 1 \cdot 2\),翻倍;再加上蒸馏模型每步跨度大,二阶近似更容易失效。论文在 8 步的 Qwen-Image-Lightning 上实测的最优就是 N=2。[论文]

与跨步流水线冲突
#

有些系统在第 \(i\) 步还没完全结束时就开始消费它的中间结果:PipeFusion — 2024 的跨步 patch 流水,或者对角滚动去噪(下一个 chunk 读取上一个 chunk 的中间 noisy KV)。Z-Cache 的窗口回滚会让下游已经读走的中间状态作废,只剩两个选择:

  • 让下游等窗口闭合,相当于加一道窗口级同步屏障,流水线退化成串行;
  • 接受不一致,让未校准的漂移漏进下一个 chunk。

论文也把这一点列为局限。[论文]

七、部署决策清单
#

场景建议
多步(≥ 20 步)离线生成用 graft,N 取 5~10,额外代价可以忽略
高分辨率视频必须用 graft;逐块方案需要 SP4 以上才装得下缓存
少步流式(4~8 NFE)只在画质是瓶颈时用,N 取 2;接受多一个全量步的 TTFF 代价
消费中间状态的跨步流水线不建议叠加
已有二阶差分补偿的底座(如 D2Cache — 2025)边际收益收窄,N=6 时 ImageReward 甚至从 0.9536 降到 0.9415 [论文]

八、局限与待验证
#

  • 本文实测用的是随机权重,只验证耗时和显存,不评估画质;画质结论全部来自论文。
  • 逐块后端的真实 hook 开销没有复现,「graft 快约 20%」是论文在 FLUX 上的数字。
  • 误差形状基于曲率不变的二阶近似,大步长蒸馏模型需要实测轨迹来验证。
  • 下一篇会把 Z-Cache 和 SpeCa(先预测再验证、动态决定是否跑全量步)放在一起,比较两种思路的系统代价。

附录:实测环境与脚本
#

  • 硬件:NVIDIA H100 PCIe 80 GB 单卡(BF16 稠密峰值约 756 TFLOPS,拷贝实测带宽 1.86 TB/s)。
  • 软件:torch 2.13 + CUDA 13.0,diffusers 0.42.1。
  • 模型:WanTransformer3DModel 随机初始化,1.3B / 14B 官方结构配置,720p·81 帧,latent 16×21×90×160,patch 后 L = 75,600。
  • 脚本:zcache_s3_bench.py,单文件,CUDA_VISIBLE_DEVICES=0 python zcache_s3_bench.py --model 14b 即可复现。
  • 方法:全程关闭梯度;带宽标定与重放步用 CUDA event 计时(分别测 eager 与 torch.compile),全量步用 torch.cuda.synchronize() 配合主机高精度时钟计时(预热 1 次后取 2~3 次平均)。