OpenAI、谷歌等四家公司拟采用统一AI抓取退出标准

11月1日消息，OpenAI、谷歌、微软和Anthropic宣布将采用一项统一标准，让网站通过现有的robots.txt文件声明拒绝AI抓取，无需分别向各家公司登记偏好。该机制由Anthropic技术负责人Kevin Kelley提交互联网工程任务组（IETF），将网站对内容抓取的限制信号扩展至AI训练用途。Anthropic已率先采用，OpenAI计划在未来数月内落实，谷歌和微软预计明年跟进。Meta发言人表示支持建立通用信号，但尚未公布实施时间。