Wink Pings

GPU一直在等CPU?研究者把CPU删了,推理快8.47倍

主流LLM推理框架有个隐藏瓶颈:CPU。Blink架构用SmartNIC直连GPU内存,把CPU移出推理路径。P99首token延迟降至1/8.47,生成速度提升3.4倍,能耗降48.6%,CPU干扰下也不卡。

有推文称,Nvidia现在有个大麻烦。原因是研究者把CPU从LLM推理路径上拿掉了,推理性能提升8.47倍。

这说的是Blink架构。当前主流推理框架vLLM、TensorRT-LLM、SGLang,都有一个隐藏瓶颈:CPU。GPU在忙着算,但每个请求、每个batch、每个token级决策,都得先经过主机CPU。CPU一旦忙点别的,GPU性能就崩。数据中心为了不让CPU过载,只能闲置大量算力。

Blink用SmartNIC(智能网卡)接住请求,通过RDMA(远程直接内存访问)直接写入GPU内存,由GPU里持续运行的内核(kernel)自己处理批处理、调度和KV-cache管理。整个过程,CPU不参与。

研究者在TensorRT-LLM、vLLM、SGLang上做了对比:

  • P99首token延迟(TTFT)最多缩短至原来的1/8.47
  • P99逐token生成延迟(TPOT)最多缩短至原来的1/3.40
  • Decode吞吐最高提升2.1倍
  • 每token能耗最高降低48.6%

更夸张的是CPU干扰测试。人为给CPU加负载时,现有系统性能最多下降两个数量级,Blink几乎不受影响。

推文附图

论文来自Mohammad Siavashi等人,预印本在arXiv:2604.07609。

值得琢磨的是原推文的判断。评论区不少人不买账。有网友指出,Blink跑在Nvidia GPU和BlueField DPU上,绕过的是主机x86 CPU。真正该紧张的是Intel和AMD,Nvidia未必是输家,甚至可能是赢家。

这个思路如果落地,数据中心也许不用再为了怕CPU过载而闲置大量算力。GPU终于可以不等CPU了。

发布时间: 2026-11-20 02:10