KubeCon 推理六层栈:DRA 稳定了,调度器仍不抢占资源
Michael Levan 把 KubeCon 上的推理基础设施拆成六层。GPU、vLLM、网关、llm-d、沙箱、Kubernetes 都在图里,回复里补了一个生产团队更该看的限制:DRA 稳定了,但调度器不抢占 DRA 资源。
KubeCon 本周的主题是 inference。这个词很宽,宽到可以把 GPU 分配、模型服务、网关路由、沙箱隔离全装进去。Michael Levan 把这些讨论拆成六层,原推配了一张推理基础设施和 Agent 基础设施的图。
这六层来自他的整理,Kubernetes 官方没有这样的分层。对生产团队有用的地方在于,每一层都对应一个具体问题。
- GPU 与内存。够不够是一层,怎么分配、在哪里共享是另一层。DRA 被多次提到,负责 GPU 切片;KEDA 和 Karpenter 管扩缩容。
- vLLM 服务 LLM,用 PagedAttention 做 KV caching。目标少浪费显存,提高吞吐。
- 推理感知网关。带 Gateway API Inference extension 的 AI Gateway,例如 @agentgateway,负责把请求路由到 LLM。
- 分布式推理与调度。llm-d 在 vLLM 之间做缓存感知的请求调度。
- 隔离。Agent 跑在这套基础设施上,需要真正 sandbox,入口和出口都要控制。沙箱层要来自底层引擎,兼顾隔离和规模。@kagent_dev 和 Agent Substrate 被提到。
- 运行位置。Kubernetes。
这六层合起来,是服务 LLM 和 Agent 的推理基础设施与 Agent 基础设施。图好看,生产问题不会因此自动消失。
Amitendra Singh 在回复里补了一个关键限制:按 Kubernetes 文档,DRA 从 v1.35 起 stable,但调度器不会抢占 DRA 资源。一个高优先级 Pod 等已声明的设备,会一直 Pending,直到持有设备的 Pod 结束或被删除。GPU 切片和动态分配听起来灵活,抢占语义没补齐,容量规划就不能只看利用率。
Macci X 的回复更尖:把所有东西都叫 inference,等于让延迟不再归某个具体人管。另一条回复只写了 Engineering。
六层栈可以作为排查地图。工程上真正难的是每一层都能说清楚谁负责延迟、谁负责容量、谁负责隔离。否则 inference 只是新名字,Pod 该 Pending 还是 Pending。
发布时间: 2026-11-15 18:32