Wink Pings

四张GPU不等于96GB:LLM推理并行到底在切什么

四张GPU有四个独立内存池。数据、张量、流水线、上下文、专家、混合并行分别切请求、权重、层、序列位置、专家权重。选错策略,通信开销会吃掉省下的内存和计算。

四张24GB GPU插在一台机器上,不会变成96GB。每张卡有自己的内存和处理器。一个kernel要读另一张卡上的权重或KV cache block,数据得先过互联。LLM推理并行从这里开始。

LLM推理分两段。prefill处理prompt并建KV cache,影响TTFT。decode逐token生成,反复读权重和增长的KV cache,影响TPOT。prefill偏大矩阵计算,decode偏内存带宽。一个布局缩短prefill,可能给每个decode token加同步。

限制部署的资源通常有四类:参数内存决定模型放不放得下,KV cache内存决定驻留token和并发,GPU计算时间,通信时间。指标要分开看:TTFT、TPOT、请求吞吐、token吞吐、goodput,以及p95这类尾延迟。Avi Chawla在文章里提醒,平均吞吐会藏住尾延迟,饱和服务器可以报高吞吐同时违反延迟目标。

并行策略做的是放置。每种方法切不同状态,也带来不同通信。collective指一组GPU一起交换或合并数据,比如all-reduce把各卡的部分结果相加,再让参与卡拿到完整结果。慢卡或慢链路会拖住整组。

数据并行DP复制完整模型,路由把请求分给副本。它提高吞吐,不能解决单模型放不下。检查三件事:完整replica是否已经fit;路由是否只看round-robin,忽略队列、空闲KV和prefix命中;准入是否给decode增长预留KV。低流量时第二副本会闲着。

张量并行TP切每个transformer层里的矩阵运算。Megatron-LM的两投影构造是常见例子:第一个权重按列切,第二个按行切,各rank算partial output,再靠all-reduce合并。TP2把8192列矩阵分给每卡4096列,TP4每卡2048列。每卡权重和局部计算变小,但每层都要collective,decode每一步也会发生。TP degree越高,局部矩阵越小,通信占比越高。工程规则是用满足内存和延迟的最小TP degree,把TP放在最快链路上。四卡服务器先试TP2,剩下两卡做第二个TP2副本;TP2仍不满足内存或单请求延迟,再考虑TP4。

流水线并行PP按深度切层组。stage0跑前几层,把hidden states发给stage1,最后stage出logits。推理没有反向传播,连续批处理可以填stage,但单条序列仍依赖前一个token。PP通信频率低于TP,适合跨慢链路,但不自动降低单请求延迟。检查独立请求够不够填满stage,检查stage平衡要按实测执行时间和内存,不按层数平均。四卡PP4只在模型确实需要四卡且并发足够时合理;两对快卡可以用PP2加每段内TP2。

上下文并行CP切序列位置。PCP切prompt token,目标是降TTFT。DCP切KV历史,目标是增cache容量。DCP每个decoder层要合并partial attention和softmax统计,合并时用全局最大值重缩放,避免指数溢出。代价是TPOT可能上升。PCP用长prompt桶测TTFT,DCP用KV容量和并发测。普通聊天留在baseline,长prompt路由到PCP组。

专家并行EP只对MoE模型有意义。router给token选专家,token representation通过all-to-all送到拥有专家的rank,算完再返回。它省专家权重内存,但把数据依赖的all-to-all和负载不均放到请求路径上。检查每rank专家权重内存,真实prompt分布下的传输字节和all-to-all时间,还要看最大token per expert和等待时间。平均吞吐会盖住straggler。

混合并行把以上方法组合。顺序可以这样:先选最小TP组让每个stage fit,并放在最快链路;模型必须跨慢边界再加PP;一个完整实例fit后加DP;长上下文有测量再加CP;MoE专家权重是fit问题再试EP。八卡两节点的一个候选是节点内TP4、跨节点PP2,频繁collective留在节点内,只有stage边界激活跨慢网。如果模型四卡能fit,TP4加DP2会形成两个副本,请求不依赖跨节点路径。

决策框架从最小改动开始。先看单副本能否放在一张GPU并保留目标并发所需KV。能,就从一个副本开始,流量上来加DP,路由保留prefix局部性。不能,找最小TP degree,benchmark该degree下的decode延迟。层组执行时间接近或peer链路慢,考虑PP。跨节点时TP留在节点内,PP跨节点,先测stage平衡。长prompt单独看PCP,KV容量单独看DCP。MoE单独看EP,并单独追token imbalance和all-to-all。每次只加一个轴,每个轴有明确任务和测量验证。并行是放置决策,不是GPU数量设置。最简布局满足延迟和吞吐目标,其他方案继续测量。有网友提到4090上PCIe allreduce是真正的墙,这和把频繁collective放最快链路是同一条经验。

Avi Chawla原文:https://x.com/i/article/2101395766170533888

推文:https://x.com/DailyDoseOfDS_/status/2123083871986294929

引用推文:https://x.com/_avichawla/status/2107427400779026843

发布时间: 2026-11-19 17:41