“推理工程师”是上周二才发明的职位吗

X上有个帖子，列了6个资源，教人怎么在2026年成为AI推理工程师。作者说，别光盯着训练模型，得学怎么让模型跑得更快、更便宜、能扛住规模。

底下最高赞的回复是X用户Jacob Steele写的：“Inference engineer sounds like a job title invented last Tuesday.”翻译过来就是，推理工程师听起来像上周二才发明的职位。

这条评论扎人，但它说对了一半。

职位名字确实新。招聘网站上搜一圈，大量推理相关的JD是最近一年才铺开的。但它说错了一半：这事本身不新。从第一个模型上线那天起，就有人在算这笔账。

推理工程要解决什么问题？Hugging Face的文档里给了一组数字：70B参数的Llama 2，全精度权重需要256GB内存，半精度也要128GB。当时最强的A100和H100只有80GB显存。一个模型塞不进去，更别说同时服务多个用户。

训练是把模型造出来，推理是让模型在真实场景里跑起来。你手机上的语音助手、客服系统里的自动回复、代码编辑器里的补全，背后都是推理。训练是少数公司的事，推理是所有用AI的公司都得面对的事。

那篇帖子列了6个资源，覆盖了从入门到部署的链路。

1. Inference Engineering（inferenceengineering.tech）

一本在线书，作者是Philip Kiely，Baseten出的，2026年版。8章，从GPU硬件、CUDA kernel讲到量化、投机解码和生产部署。有动画图表、VRAM计算器、KV cache容量计算器，还有100多道练习题。适合系统性地过一遍整个推理栈。

2. Hugging Face的LLM推理优化文档

偏实操。静态KV cache配torch.compile能提速最多4倍，投机解码用小模型给大模型打草稿，FlashAttention-2分块计算减少显存读写，量化把权重压到8位甚至4位。每个技术点都带代码示例。适合已经写了模型调用代码、想再往下钻一层的人。

3. vLLM文档

高吞吐LLM服务框架。核心是PagedAttention，把KV cache像操作系统管理内存一样分页管起来，减少碎片。想自己部署模型，基本绕不开它。

4. SGLang文档

跟vLLM定位接近，主打结构化生成和前缀缓存。场景里如果有大量重复的system prompt，或者模型输出需要严格遵循JSON格式，值得看看。

5. NVIDIA TensorRT-LLM

英伟达自己的推理栈。编译优化、量化、多GPU并行都做了。性能天花板高，代价是绑定NVIDIA生态。

6. GPU MODE

GitHub上的社区，教GPU编程、CUDA、Triton。想搞清楚kernel层面到底在算什么，从这里开始。

帖子最后说，目标不是让模型跑起来，是用更低的延迟、更高的吞吐、最少的GPU成本服务百万级token。

拆开看就是上面这些事：KV cache怎么管，batch怎么拼，权重量化到几位，attention用什么实现，请求怎么调度。

有人说这是上周二才发明的职位。也对。名字是新的。问题是老的。

从第一个模型上线那天起，就有人在算这笔账。