让AI通宵写推理引擎，一夜跑出16k tok/s

推理引擎是处理请求、管理缓存、跑模型的那层服务。所有引擎都共享大部分骨架；真正不一样的是模型专属的前向传播和内核。Eric Zhang 的 Resin 就从这个切口进去：骨架（调度、KV cache、prefix cache、metrics）用 Rust 写好，模型专属部分交给 AI agent 去写。代码在 github.com/ekzhang/resin。

使用方式很直接。导入 Resin 核心，让 agent 为模型写一个针对目标硬件（GPU/TPU/AMD）优化的前向传播，加上你想要的 kernels。完成。一个独立引擎。

Eric 过去一个月在搞这个。DeepSeek-V4.1-Flash 已经跑到了 DeepInfer 的 5-10% 以内。昨天他写了个 skill，让 Codex 干了一整夜，第二天早上交付了 GLM-5.3-Flash 引擎，B200 上 60k input tok/s、16k output tok/s。这个引擎带 MTP、CUDA graphs、TP on Blackwell。核心的 Rust 部分约 3000 行，覆盖调度、KV/SWA/recurrent state、prefix cache、多模态、动态批处理。

这不是一个孤立的实验。vLLM 的核心维护者 Woosuk Kwon 转发说，vLLM 也在向同样的方向移动：隔离模型特定代码已经做得很顺，并且正考虑把更多栈换成 Rust。他分享了一张概念图，Model Runner V2 的 ModelState 抽象：一个有状态 API 封装模型特定逻辑，为额外模型输入、注意力元数据、CUDA graph 捕获提供钩子。和 Resin 的哲学几乎是一回事。

为什么值得注意？此前让 AI 从头写推理引擎，结果普遍不靠谱。Eric 的解释：每次都从零造轮子，调度器和服务层的复杂逻辑不断重复。共享核心把问题收敛成单个可验证目标——写一个快的 forward pass。有同行指出，内核才是最难共享的部分。Resin 的取舍是：共享骨架，把内核留给 AI 去生成。

有网友在他的评论区补充了关键约束：agent 必须先在一组提示上匹配参考实现的 logits（比如 Hugging Face 版本），才有资格追速度。不然一个过夜跑出的引擎，可能快但错。另一个看法：把原语当作实现参考而不是框架契约，让 agent 从第一性原理去推导架构，效果比给它一套 API 约束更有用。还有人说，AI agent 在框定好的任务里表现最好。一个难题，一个可打败的分数。这大概解释了为什么此前的 vibe coding 推理引擎大多失败：任务太空了。

Resin 的 README 写得很诚实：不是生产级软件，要稳定请用 SGLang 或 vLLM。但方向已经摆在那里了——引擎的通用部分正在变成基础设施，模型特定的部分，AI 正在接手。