四家 AI 公司要共用一套退出信号，网站能一次拒绝抓取吗

OpenAI、Google、Microsoft、Anthropic 表示将采用一项新标准，让发布者可以退出 AI 抓取。这个信号叫共享 policy token，由 Anthropic 标准技术负责人 Kevin Kelley 在 IETF 提出，写在网站的 robots.txt 里。Search Engine Roundtable 先报道了这件事。

Illustration by Cath Virginia / The Verge | Photos from Getty Images

robots.txt 不新鲜。搜索引擎、归档工具和各类爬虫早就看它来决定抓不抓。问题在于 AI 训练抓取越来越普遍，网站要在不同公司那里分别设置偏好，成本高，也容易漏。新方案想让发布者在 robots.txt 里写一次，多家 AI 公司读同一个信号。

IETF 的草案把这个信号描述成训练偏好。robots.txt 原本也用于搜索索引、归档等场景。报道提到，这四家公司表示会采用它。这里有个关键点：robots.txt 是声明，执行靠爬虫方自觉。它表达退出意愿，无法从技术上封住抓取。网站能少填几份表，但能不能真正拦住训练爬虫，还要看各家公司怎么落实、覆盖哪些场景、已有数据怎么处理。

对开发者来说，值得盯两件事：草案会不会定稿，以及各家公司读取 policy token 的细节。对普通用户来说，这事不花哨，却影响网站内容会不会被拿去训练模型。The Verge 原文在这里。