Redis 的新缓存不存答案,存步骤
语义缓存命中很快,但退款状态变了它还在说处理中。Redis Iris 换了个思路:缓存生成答案的步骤,每次用实时数据算结果。Akshay 的测试里它比普通 agent 快约 2 倍,也是两轮里唯一都答对的方案。
Redis 发布了 Iris,一个面向生产 agent 的实时上下文引擎。它想解决一个很具体的问题:语义缓存命中很快,但答案可能已经过期。
客服场景里,用户问“我的退款到哪一步了”,换几种说法还是同一个意图。语义缓存会把这些问法匹配到同一条旧回复。回复写着“处理中”。几分钟后退款已经到账,缓存仍然返回“处理中”。用户看到的是自信的过期答案。
普通 agent 每次都跑完整推理,答案对,但每次都要重新规划步骤,烧 token。Iris 的做法把缓存对象换了:不存答案,存生成答案的步骤。Akshay Pachaar 的推文里写得很清楚,semantic cache reuses the answer while Iris reuses the steps。
具体流程是这样:Intent Router 先识别相似请求,然后拉取对应的 Agent Playbooks。Playbook 里不存最终回复,存的是步骤,比如查订单、查退款状态、按模板回复。agent 照着步骤执行,跳过重新规划,回复发出前再取一次实时退款状态。这样既省掉规划调用,又不用拿旧答案顶上。
Akshay 做了个小应用对比三种方案:普通 agent、语义缓存、Iris 支持的 agent。先问退款进度,状态是处理中;然后把状态改成已退款,换一种问法再问。测试数据:
- 问题 1,状态 processing:普通 agent 2 次 LLM 调用,9.4 秒,正确;语义缓存未命中,2 次调用,10.2 秒,正确;Iris 1 次调用,5.9 秒,正确。
- 问题 2,状态 refunded,换说法:普通 agent 2 次调用,12.7 秒,回复没确认状态;语义缓存命中,0.5 秒,返回过期的 processing 答案;Iris 1 次调用,5.6 秒,正确。
Iris 省掉了规划调用,速度约为普通 agent 的 2 倍,也是两轮里唯一都答对的方案。下面是演示视频。Akshay 说明这个 demo 与 Redis 团队合作完成,试用链接是推广链接。
Avi Chawla 的文章把 LLM 缓存分四层,讲得更细:
- KV cache 存单个请求里每个 token 的注意力张量,减少解码重复计算。
- Prefix caching 在请求结束后保留 KV 块,用 token 哈希链做前缀匹配,跨请求复用。
- Prompt caching 是云厂商对前缀复用的计费版本,Anthropic 的写入是基础输入价的 1.25 倍,读取是 0.1 倍。
- Semantic cache 存已经生成的回复字符串,用 embedding 余弦相似度匹配。
前三层是精确匹配,正确性中性,未命中只影响成本和延迟。语义缓存是模糊匹配,命中后直接跳过模型,输出 token 也省了。问题在于它不知道旧答案是否仍然正确。Avi 举的例子很直接,How do I reset my password? 和 How can I reset my password? 相似度 0.961,应该共享答案;Is the API rate limited? 和 Is the API not rate limited? 相似度 0.952,只差一个否定,答案相反。阈值上调,命中率掉;阈值下调,错误答案变多。有读者在 Avi 的文章下说,时间敏感内容要在相似度检查前加硬 TTL。这个经验比调阈值更接近生产。
Redis Iris 这次发布了六项能力:Intent Router、Agent Playbooks、Agent Memory、Context Gateway、Lens、Agent Mesh。
Intent Router 按意图路由,让相似问题不必每次重算。
Agent Playbooks 复用答案和流程,核心是把步骤存下来。
Agent Memory 做短期和长期记忆,跨会话保留偏好和决策。
Context Gateway 通过 MCP 接数据源,让 agent 取到订单、工单这类实时信息。
Lens 记录 agent 决策,出错时能查它为什么走了这一步。
Agent Mesh 在连接断开时保持 agent 通信,流可以缓冲并重连。
这些能力组合起来,Redis 想把缓存从响应层上移到流程层。这是有价值的方向,因为很多生产问题的答案会变,步骤相对稳定。但步骤缓存也有自己的风险:Playbook 错了,错误会稳定复现;Playbook 旧了,流程会在每次请求里一致地跑偏。版本管理和回滚不能省。语义缓存至少错得随机,步骤缓存可能错得很整齐。
如果你的业务答案随时间变,先别把语义缓存当默认项。先问一句:你要复用的是一个答案,还是生成答案的过程?Redis Iris 的试用入口在这里:http://fandf.co/3XbeaVc。Avi 的原文在 https://x.com/i/article/2093210840468189184,Akshay 的推文在 https://x.com/akshay_pachaar/status/2123393434732122604。
发布时间: 2026-11-19 21:27