Wink Pings

AI不缺上下文,缺的是过滤

Scribe做了一组实验:给AI加wiki,性能反而下降。公司文档只是工作的“数字尾气”,AI真正缺的不是更多上下文,而是过滤能力——知道该忽略什么。

1953年,英国工程师Colin Cherry做了一个实验。他给参与者戴上耳机,左右耳播放不同的语音,要求复述其中一只耳朵的内容。参与者轻松完成,但当另一只耳朵的语音从英语换成德语,没人注意到。

后来,丹尼尔·西蒙斯和克里斯托弗·查布里斯做了个更著名的版本:让人数传球次数,一只大猩猩从画面中央走过,一半人没看见。

这叫选择性注意。人类大脑处理信息的方式,是先设定目标,再过滤掉一切无关信息。新父母能在雷声中熟睡,却被婴儿一声咳嗽惊醒。员工从会议室走出来,只记得与自己团队相关的部分。

LLM没有这个过滤器。

上下文越多,Agent越笨

11月第一周,Notion、Box、Snowflake密集发布了给Agent提供业务上下文的产品。Agent是能独立执行任务的AI程序,上下文是它干活所需的背景信息。这些动作是对Agent落地第一年失望情绪的回应:Agent让个别员工变快了,但没让公司变好。市场的一致性判断是,给Agent更多上下文能解决这个问题。

Jennifer Smith不这么认为。她是Scribe的CEO,Scribe是一家做流程录制工具的公司。她在文章The context layer has a clutter problem里直接说:这个假设是错的。

公司里的文档、数据库、Slack消息,记录的是工作如何被协调,或者工作做完之后的输出。它们给模型提供线索,但仅仅只是线索。Smith打了个比方:你能开车到某个地方,但不一定说得清具体路线。公司里真正重要的流程知识往往是隐性的,分散在每个人脑子里,从来没有被写下来。

实验:更多上下文,更差的结果

Smith团队做了一组测试。30个业务任务,来自销售、市场和产品,每个都含判断成分,不能靠查规则直接得到答案。四种条件:模型独自完成任务、加内部wiki、加Scribe录制的工作流程、同时加wiki和流程录制。

结果:

  • 模型独自输出时,基本是带占位符的空话
  • 加wiki或加流程录制,性能都提升了一半以上
  • 流程录制在7个评分维度上全面超过wiki
  • 同时给wiki和流程录制,性能比只给流程录制更差

为什么流程录制比wiki好

因为流程录制是已经被人类过滤过的信息。录制里只有任务实际怎么完成的步骤,没有那些看着相关但其实无关的干扰项。它带着人类注意力的印记:做完选择之后留下的。

wiki相反。wiki里塞满各种话题,绝大部分对当下任务没用。给模型wiki,等于在一堆干扰项里翻找正确答案。

Chroma去年测试了18个模型,在问题旁边放两种干扰内容:完全无关的,和高度相关但答非所问的。结果,哪怕一个相关干扰项,也会显著降低模型表现。Google 2023年的研究也有同样发现。

公司里堆满的文档和消息,恰好就是这类干扰项的来源。

更好的搜索,只是更好的猜测

有一个例子特别能说明问题。有经验的销售准备续约电话时,不会去读公司文档里如何做续约的指南,而去翻客户负责人在Slack里有没有提过跳槽。客户负责人离职是续约最大的威胁,哪怕客户一直很忠诚、很满意。这件事不在任何文档里,但销售知道该去看。

Agent做不到。检索系统会找出所有与续约相关的资料——销售指南、去年报价单——唯独不会找出那条关于跳槽的Slack消息,因为它的内容与续约不沾边。Smith说,再好的搜索也解决不了这个问题,因为公司记录里没有标注哪些记录重要。

社区在讨论什么

这篇分析在推上引发了不少讨论。做应用AI的Matt Stockton发推说,核心观点他非常认同。他说自己和Scribe没有利益关系,也没用过,但一直在尝试类似的事。Agent需要公司上下文来解决问题,但默认接入Slack、Notion、Linear远远不够。那些只是数字尾气,Agent拿到后还得自己填空。真正要做的是把隐性流程变成Agent可读的格式,这既是个UX问题,更是个组织问题。上下文是非常敏感而奇怪的东西,这个领域会越来越重要。

评论区也有不同的视角。有人说,把SOP写成技能时,常常发现没人同意过流程本身,Agent也没能成为解决这些分歧的地方。也有人说,屏幕录制配上叙事、任务描述和期望产出,Agent第一次就能做对。还有人管这叫配方,建议让Agent分析用户交互自动生成。

Smith的回应是:还在实验最佳实践,后面会分享更多数据。

这次实验规模不大,用同一个模型打分,样本有限。但方向值得关注。

Agent落地第一年,企业开始意识到一个反常识的事实:AI不缺数据,缺的是知道该忽略什么。而忽略这件事,恰好是人类每天都在做、但从未被记录下来的工作。

发布时间: 2026-11-22 14:44