把 LLM 推理拆成 12 步,你能看到 token 排队、KV cache 涨起来
一个能按暂停的 LLM serving 模拟器,把 prefill、chunked prefill、continuous batching 和 KV cache 这四个概念变成了可以单步执行的画面。
LLM 推理的文章通常给你两张静态图:一张画 prefill,一张画 decode,中间画个箭头。看完还是不知道同一台机器上多个请求怎么抢资源。
Mak 做了一个交互式模拟器,把这件事拆成可以单步执行的 12 步。你能看请求排队、token 流出来、KV cache 一格一格涨。
1/ Prefill 和 decode
模型先处理输入 prompt,再一个 token 一个 token 地生成。模拟器让多个请求共享同一台服务器,你能同时看到谁在读 prompt,谁在输出。
2/ 整块 prefill 和分块 prefill
一个长 prompt 进来,整块处理会占住算力,正在生成的请求被卡住。切成小块后,每一轮只处理一段,其他请求还能继续 decode。
有网友在回复里说,多数推理文章对 chunked prefill 和长 prompt 拖住整批的区别一笔带过。这个评价挺准。
3/ 静态 batching 和连续 batching
请求结束时间不一样。等整批做完再放新请求,槽位就空转。continuous batching 是槽位一空立刻塞新的。模拟器里能直接看到哪种策略下容量闲置、哪种策略下被复用。
4/ KV cache
缓存随请求推进不断累积。模拟器把它和 token 生成并排显示,内存增长和输出速度的关系就变成了可视的步骤。
怎么做的
Mak 用 Base44 搭的,从一个写好的需求和视觉参考开始,通过后续 prompt 调界面,再用内置数据库保存实验状态。重开一个实验,设置和播放位置都还在。

这个保存功能对学习有用。你可以把某个配置存下来,过几天再回看同一个场景,不用重新调参数。
模拟器是简化过的学习工具,不是生产级压测平台。但它把术语和画面接上了。如果正在学推理,或者要给团队解释这些概念,按暂停、改一个设置、看变化,比读十页文档快。
发布时间: 2026-11-19 20:29