百万个 AI Agent 塞进 K8s:空闲就睡,500ms 内醒来
Agent Substrate 把 Agent 当成不可信、多数时间闲置的有状态负载:空闲时快照下线,请求来了 500ms 内恢复。它跑在标准 K8s 上,不绑 SDK,目标是把同硬件密度提高 10 倍。
Shubham Saboo 把 Agent Substrate 称为 AI Agent 的 Kubernetes 时刻,Jaana Dogan 转发了这条消息。先把营销词放一边,看它解决什么。
Agent 的负载形态和普通 Web 服务不一样。大多数时候,它们在等模型返回、等工具执行、等人确认。可平台常常按一直在跑来占资源。Agent Substrate 的假设相反:Agent 是有状态、不可信、大部分时间闲置的 actor。它把一大群 actor 映射到一小池 warm worker 上。空闲 actor 被快照出内存,请求到达再恢复。官方给的数据是恢复时间低于 500ms,每秒超过 500 次激活,同一批硬件上密度比标准容器高 10 倍,演示里做到 10 到 30 倍超分。
这套调度模型的关键在状态。恢复的不只是进程,还有内存和文件系统状态。项目演示里把约 250 个有状态 actor 复用到 8 个物理 pod 上,会话和工具状态不丢。请求撞上 worker 池满时,路由器会把请求挂起等 worker 空出来,不直接甩 503。这个细节比支持百万 Agent 更能说明它面向真实长会话。
安全模型也值得看。它把每个 actor 都当不可信且互相敌对,普通 Linux 容器不在支持范围,只能用 gVisor 或 Cloud Hypervisor microVM。每个活跃 actor 默认拿到短期 SPIFFE X.509 证书,出口网关可以按需签发 per-actor JWT。API key、云 token 不放进沙箱,由出口网关在批准的外发请求里注入。网络默认拒绝,只有 ingress router 能进来,actor 之间没有横向访问。出口策略点可替换,能接自己的授权、DLP、prompt injection 扫描或云 IAM。对跑不可信代码的 Agent 平台,这比多跑几个并发更硬。
它不绑 Agent SDK。跑标准 OCI 镜像,ADK、LangChain、Claude Code、Codex、Antigravity、MCP server 都能往里放。底层还是 Kubernetes 的 Pod、autoscaling、NetworkPolicies,额外加了 actor 调度、快照、身份和网络中介。项目 Apache 2.0 开源,已经到 1.0,支持最新稳定版 K8s 和上一个 minor。官方演示视频在这里。
本地试的话,需要 Go、kubectl、docker,用 kind 起集群,装 ate-system,再部署 counter demo。创建 actor 后用 kubectl ate proxy 转发请求,curl 一下就能看到状态跨挂起恢复。GKE 也有安装指南。
一个判断:Agent 基础设施的难点可能不在同时推理多少个,而在怎么让大量睡眠会话便宜地活着,同时不让不可信代码碰到凭据。Agent Substrate 把这个假设写进了调度和隔离层。它能不能撑住百万级是另一回事,但方向比单纯堆容器正确。
发布时间: 2026-11-17 22:34