做完这12个推理基础设施项目,你就被雇了
Suraj Sharma 在 X 上列了一份 12 项目清单,说能做出来就被录用。覆盖 Triton 内核、KV 缓存、MoE、量化、投机解码、语义缓存、边缘回退,附网友验证数据。
Suraj Sharma 在 X 上列了一份清单:12 个推理基础设施项目,能做出来,你就被雇了。
清单很具体,不是“做一个聊天机器人”那种。每一项都瞄准推理链路的一个真实瓶颈。这个行业不缺看教程的人,缺的是能把延迟、吞吐、成本压下来的人。
第一组:理解硬件,而不是调用 API
- 用 Triton 写 fused attention 或 RMSNorm 内核,用 Nsight Compute 分析内存带宽,和原生 PyTorch 对比。这说明你懂 roofline 分析,而不是把 GPU 当黑盒。
- 把前沿模型校准到 FP4/INT4,测量精确的困惑度退化,以及延迟和显存的收益。量化不难,难的是把质量损失证明白。
- 跑一个本地 2B 草稿模型,为 70B 目标模型生成候选 token,一次前向验证。投机解码,零质量损失,2 倍解码加速。
有人提醒,内存访问模式比计算本身更值得关注,先用 perf 分析,再上 CUDA 技巧。
第二组:规模化服务,核心是内存
- 层级 KV 缓存卸载:GPU→CPU→SSD,不能阻塞 decode 循环。这决定了你能不能在不破产的前提下服务超长上下文。
- MoE expert-parallel router:把专家权重切到多张 GPU,优化 all-to-all 通信,均衡专家负载。万亿参数稀疏模型绕不开这个。
- 分离式 prefill/decode 集群:prefill 是计算密集,decode 是内存密集,用不同硬件跑,通过 RDMA/InfiniBand 连接,MFU 最大化。
第三组:成本与可靠性是工程问题
- 用上下文无关文法实现采样循环,在 token 级别强制生成合法 JSON/Pydantic 输出。不靠提示词碰运气。
- 语义缓存:embedding 相似度高于 98% 就直接返回缓存,不碰 GPU。但有人提醒,语义相似的 prompt 可能需要不同的答案,误命中是正确性问题。
- 复杂度路由:根据 prompt 熵,把简单问题路由到量化 8B 模型,复杂推理路由到 405B API。成本降 60%,体验不降。
- WebGPU/MLX 边缘回退:云 API 503 时,降级到浏览器或 Apple Silicon 上的 3B 模型。
- 基于队列的 GPU 自动扩缩:KEDA 根据待处理 token 队列深度扩缩 spot 实例,空闲时优雅排空。GPU 闲置等于烧钱。
第四组:工程判断力
- 公开一份推理基准 teardown,画成本 vs TTFT vs 吞吐量的 Pareto 曲线,对比 vLLM、SGLang、TensorRT-LLM。既要有科学严谨,也要能讲清楚结论。
清单下面,有网友补充了实际数据:
每个 token 的 KV cache 显存约等于 2 × layers × KV heads × head dim × bytes,Llama 3.1 8B 在 bf16 下大约每 token 128KiB,8k 上下文就是 1GiB。GQA、分页、KV 量化都是为了对付这个。
另一个网友验证了投机解码:
同一个 8-bit Qwen,自带多 token 预测头,速度从 71–77 tok/s 提升到 108–123 tok/s,没换模型。
也有网友说,先学 batching 比单个内核更能理解真实服务成本。还有人说,技术栈会过时,但底层系统知识有复利。有人泼冷水:现在没人招人。最讽刺的评论出现在末尾:
项目 13:向财务解释为什么 GPU 账单在“优化”后翻了三倍。
Suraj 还贴了一份 12 阶段学习路径,从 C/C++、CUDA 到 AI Gateway、边缘推理。但项目清单本身已经足够说明问题:推理基础设施的门槛在于理解硬件、内存和成本,而不只是跑通示例。Rust 在 AI 基础设施中的角色,也值得单独讨论。
Suraj 自己补充了一句:一个完成的项目,带着真实基准,胜过十二个未完成的实验。
发布时间: 2026-11-22 06:13