四家AI公司支持统一反抓取标准

2026年10月31日，The Verge报道，OpenAI、Google、Microsoft和Anthropic宣布支持写入robots.txt的共享policy token。出版商可通过这一共享令牌表达退出AI抓取的偏好，在统一的robots.txt规则中设置相关选择。报道将此概括为四家公司支持共享的“AI抓取退出标准”。目前可确认的进展是四家公司已宣布支持该机制；报道未说明令牌的具体格式、正式生效时间、各公司的实施安排，也未披露已有多少出版商采用。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。